[논문 리뷰] Graph-based Multi-ODE Neural Networks for Spatio-Temporal Traffic Forecasting

Zibo Liu, Parshin Shojaee외 1명|arXiv (Cornell University)|2023. 05. 30.

Traffic Prediction and Management Techniques인용 수 12

한 줄 요약

GRAM-ODE는 모듈 간의 의사소통을 개선하기 위해 공유 가중치와 발산 제약을 갖춘, 지역/전역 시공간 패턴과 동적 의미적 간선을 포착하기 위해 서로 결합된 다중 ODE-GNN 모듈을 도입한다.

ABSTRACT

There is a recent surge in the development of spatio-temporal forecasting models in the transportation domain. Long-range traffic forecasting, however, remains a challenging task due to the intricate and extensive spatio-temporal correlations observed in traffic networks. Current works primarily rely on road networks with graph structures and learn representations using graph neural networks (GNNs), but this approach suffers from over-smoothing problem in deep architectures. To tackle this problem, recent methods introduced the combination of GNNs with residual connections or neural ordinary differential equations (ODE). However, current graph ODE models face two key limitations in feature extraction: (1) they lean towards global temporal patterns, overlooking local patterns that are important for unexpected events; and (2) they lack dynamic semantic edges in their architectural design. In this paper, we propose a novel architecture called Graph-based Multi-ODE Neural Networks (GRAM-ODE) which is designed with multiple connective ODE-GNN modules to learn better representations by capturing different views of complex local and global dynamic spatio-temporal dependencies. We also add some techniques like shared weights and divergence constraints into the intermediate layers of distinct ODE-GNN modules to further improve their communication towards the forecasting task. Our extensive set of experiments conducted on six real-world datasets demonstrate the superior performance of GRAM-ODE compared with state-of-the-art baselines as well as the contribution of different components to the overall performance. The code is available at https://github.com/zbliu98/GRAM-ODE

연구 동기 및 목표

• 도로 네트워크 내의 복잡한 내부 의존성과 외부 의존성을 다룸으로써 정밀한 장기 교통 예측을 고무한다.
• 예상치 못한 이벤트에 대비해 글로벌 시간 패턴과 중요한 로컬 시간 패턴의 균형을 이루는 표현을 학습한다.
• 시간에 따라 변하는 교통 관계를 모델링하기 위해 동적의 노드-간선 의미 상관관계를 도입한다.
• 공유 가중치와 다양성 제약 임베딩을 통해 여러 ODE-GNN 모듈 간의 효과적인 의사소통을 가능하게 한다.

제안 방법

• 그래프 기반 신경 ODE 프레임워크 내에서 글로벌, 로컬 및 간선 기반 시간 의존성을 위한 세 가지 ODE 모듈을 제안한다.
• 노드 기반 모듈과 간선 기반 모듈을 정렬하기 위해 공유 공간 가중치와 시간적 결합을 도입한다.
• 로컬/글로벌 임베딩을 제한하고 발산을 방지하기 위한 메시지 필터링 제약 조건을 도입한다.
• 게이트된 소프트맥스 가중 결합에 기반한 비선형 집계 계층을 사용하여 모듈 출력의 다중 관점 특징을 융합한다.
• 두 개의 평행 그래프 스트림(DTW 기반 및 연결 기반)을 세 채널 GRAM-ODE 스택에 입력하고 최종 주의 기반 융합을 사용한다.

실험 결과

연구 질문

• RQ1 시공간 교통 데이터에서 단기 로컬 시간 패턴과 장기 글로벌 시간 패턴을 어떻게 포착할 수 있는가?
• RQ2 노드 간의 동적 의미 간선이 변화하는 공간 상관관계를 모델링하여 예측 성능을 향상시킬 수 있는가?
• RQ3 공유 가중치와 발산 제약이 여러 ODE-GNN 모듈 간 협업을 향상시키는가?
• RQ4 다중 시야 융합(DTW 기반 그래프와 연결성 기반 그래프)이 예측 성능을 향상시키는가?

주요 결과

• GRAM-ODE는 여섯 개의 실제 데이터셋에서 최첨단 기준선에 비해 우수한 성능을 보여준다.
• 로컬 시간적 ODE의 포함은 예기치 않은 이벤트에 대한 대응을 향상시킨다.
• 동적 간선 기반 시간 모델링은 노드 간의 진화하는 의미 연결을 포착한다.
• 공유 가중치와 발산 제약은 ODE 모듈 간의 의사소통을 향상시켜 예측을 개선한다.
• 모듈 간의 게이트된 비선형 집계는 예측을 위한 강건한 특징 융합을 제공한다.