[논문 리뷰] Graph Neural Controlled Differential Equations for Traffic Forecasting

Jeongwhan Choi, Hwangyong Choi외 2명|arXiv (Cornell University)|2021. 12. 07.

Traffic Prediction and Management Techniques인용 수 28

한 줄 요약

본 논문은 시공간 예측 모델 STG-NCDE를 제안하며, 시간 처리와 공간 처리를 위해 두 개의 신경 제어 미분방정식(NCDE)을 결합하고, 여섯 개의 PeMS 데이터셋에서 최첨단 성능을 보이고 비정규 데이터에 대해 견고함을 보인다.

ABSTRACT

Traffic forecasting is one of the most popular spatio-temporal tasks in the field of machine learning. A prevalent approach in the field is to combine graph convolutional networks and recurrent neural networks for the spatio-temporal processing. There has been fierce competition and many novel methods have been proposed. In this paper, we present the method of spatio-temporal graph neural controlled differential equation (STG-NCDE). Neural controlled differential equations (NCDEs) are a breakthrough concept for processing sequential data. We extend the concept and design two NCDEs: one for the temporal processing and the other for the spatial processing. After that, we combine them into a single framework. We conduct experiments with 6 benchmark datasets and 20 baselines. STG-NCDE shows the best accuracy in all cases, outperforming all those 20 baselines by non-trivial margins.

연구 동기 및 목표

• 시간이 불규칙한 시계열 데이터를 갖는 시공간 그래프에서 고정밀 교통 예측을 목표로 한다.
• 시간적 의존성과 공간적 의존성을 각각 모델링하기 위한 이중 NCDE 프레임워크 개발.
• NCDE 내 적응형 그래프 컨벌루션을 활용하여 동적 공간 관계를 포착.
• 실세계 교통 데이터에서 결측 관측치와 불규칙 샘플링에 대한 강건성 시연.
• 다수의 기준선에 대한 포괄적 대규모 평가 제공.

제안 방법

• 각 노드 v에 대해 과거 특징의 자연스러운 3차 스플라인 보간을 통해 연속 경로 표현 X^(v)을 만든다.
• 두 개의 NCDE를 사용: 시간 처리 h^(v)(T)는 dX^(v)/dt에 의해 구동(Eq. 4/5), 공간 처리 Z(T)은 dH/dt에 의해 구동(Eq. 6).
• f를 다중 계층 완전 연결 퍼-노드 시간 프로세서로 정의(Eq. 8).
• g를 적응적 인접성(E, W_spatial)과 소프트맥스 정규화 상호작용(Eq. 9–11)을 사용한 공간 혼합으로 정의.
• 시간적/공간적 NCDE를 하나의 확장된 ODE(Eq. 12)로 결합하고 Z(T)에서 ŷ^(v)를 생성(Eq. 13).
• L1 손실과 가중치 감소로 학습; Lipschitz 연속성 고려를 통해 well-posedness를 보장.

실험 결과

연구 질문

• RQ1 이중 NCDE 프레임워크가 교통 네트워크의 시간적 다이나믹스와 공간 의존성을 효과적으로 포착할 수 있는가?
• RQ2 적응형 NCDE 기반 공간 모듈을 시간 NCDE와 결합하는 것이 강한 베이스라인 대비 예측 정확도를 향상시키는가?
• RQ3 실세계 교통 시나리오에서 STG-NCDE의 불규칙하거나 누락된 센서 데이터에 대한 강건성은 어느 정도인가?
• RQ4 노드 임베딩 크기와 경로 보간이 모델 성능에 미치는 영향은 무엇인가?

주요 결과

• MAE, RMSE, MAPE에서 6개 PeMS 데이터셋 전반에 걸쳐 20개의 baselines를 능가합니다(STG-NCDE가 최상의 평균 정확도를 달성).
• STG-NCDE는 10–50%의 결측률에서 불규칙한 데이터 상황에서도 우수성을 유지하는 반면, 베이스라인은 어려움을 겪습니다.
• 삭제 실험에서 시간적 및 공간적 NCDE를 모두 사용할 때 단독으로 사용할 때보다 더 나은 성능을 보입니다.
• 노드 임베딩 크기 C를 10까지 늘리면 성능이 향상되며, C=7을 넘어서도 안정성을 관측합니다.
• 모델은 다양한 예측 시점에서 정밀한 예측을 제공하고 ablations에 비해 학습 다이내믹스가 견고함을 보입니다.