[논문 리뷰] Message Passing Neural Networks for Traffic Forecasting

Arian Prabowo, Hao Xue외 3명|arXiv (Cornell University)|2023. 05. 09.

Traffic Prediction and Management Techniques인용 수 4

한 줄 요약

이 논문은 교통 예측을 위한 최적의 그래프 신경망(GNN) 유형으로 메시지 전파 신경망(MPNNs)을 제안하며, 정확한 예측에 핵심적인 상호작용을 유일하게 포착할 수 있다는 점을 주장한다. 실제 및 합성 데이터에서의 실험 결과, MPNNs는 컨volutional(GCN) 및 어텐션 기반(GAT) GNNs를 크게 앞서며, 다른 모델이 실패하는 합성 노드 상호작용 작업에서 near-perfect 성능(RMSE ≈ 0.015, R² ≈ 0.9995)을 기록한다.

ABSTRACT

A road network, in the context of traffic forecasting, is typically modeled as a graph where the nodes are sensors that measure traffic metrics (such as speed) at that location. Traffic forecasting is interesting because it is complex as the future speed of a road is dependent on a number of different factors. Therefore, to properly forecast traffic, we need a model that is capable of capturing all these different factors. A factor that is missing from the existing works is the node interactions factor. Existing works fail to capture the inter-node interactions because none are using the message-passing flavor of GNN, which is the one best suited to capture the node interactions This paper presents a plausible scenario in road traffic where node interactions are important and argued that the most appropriate GNN flavor to capture node interactions is message-passing. Results from real-world data show the superiority of the message-passing flavor for traffic forecasting. An additional experiment using synthetic data shows that the message-passing flavor can capture inter-node interaction better than other flavors.

연구 동기 및 목표

• 기존 모델에서 간과된 요소로 상호작용이 교통 예측에 중요한 영향을 미치는지 규명하고 그 중요성을 강조하는 것.
• 메시지 전파 기반 GNNs가 관계 추론에 대한 인덕티브 바이어스를 지니고 있어 노드 상호작용을 포착하는 데 가장 적합한 GNN 유형임을 주장하는 것.
• 실제 교통 예측 작업에서 메시지 전파 기반 GNNs가 컨volutional 및 어텐션 기반 GNNs보다 뛰어난 성능을 보임을 경험적으로 검증하는 것.
• 합성 데이터를 통해 MPNNs가 다른 GNN 유형이 실패하는 복잡한 비선형 노드 상호작용 패턴을 완전히 학습할 수 있음을 보여주는 것.

제안 방법

• 저자들은 역사적 교통 지표와 인접 행렬을 사용하여 교통 예측을 그래프 기반 회귀 문제로 수식화한다.
• GNNS가 노드 상호작용을 학습하는 능력을 분리하고 테스트하기 위해 '관계 조절 신호 생성(Relation-Modulated Signal Generation, RMSG)'이라는 합성 작업을 도입한다.
• 네 가지 모델을 비교한다: 단순 평균 기준선, GCN(GNN의 컨볼루션 유형을 대표함), GAT(GNN의 어텐션 유형을 대표함), MPNN(GNN의 메시지 전파 유형을 대표함).
• 모든 모델는 소프트맥스 레이어를 제거하고, 인코딩/디코딩을 위한 단일 레이어의 MLP를 추가하며, 인접 행렬에 항등행렬을 더해 자기루프를 통합함으로써 회귀 문제에 적합하게 조정된다.
• 모델들은 Optuna를 통해 최적화된 초모수를 사용하여 2^20개의 훈련, 10^5개의 검증, 2^20개의 테스트 샘플에서 RMSE, MAE, R² 지표를 사용해 훈련 및 평가된다.
• MPNNs의 메시지 전파 메커니즘은 반복적인 메시지 전달을 통해 노드 특징을 집계하며, 이는 노드 간의 명시적 관계적 의존성 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 현재 모델이 포착하지 못하는 상호작용은 교통 예측에서 중요한 요소인가?
• RQ2 컨볼루션, 어텐션, 메시지 전파 중 어떤 GNN 유형이 교통 네트워크의 상호작용을 모델링하는 데 가장 적합한가?
• RQ3 메시지 전파 기반 GNNs는 실제 교통 예측 작업에서 다른 GNN 유형을 능가할 수 있는가?
• RQ4 합성 데이터 실험을 통해 메시지 전파 기반 GNNs가 복잡한 노드 상호작용 패턴을 학습하는 데서 유일하게 뛰어난 능력을 입증할 수 있는가?

주요 결과

• 합성 RMSG 작업에서 MPNN는 RMSE 0.01509 ± 0.002373과 R² 0.99952 ± 0.000147을 기록하며 near-perfect 성능을 보이며, 기저의 상호작용 패턴을 완전히 학습한 것으로 나타났다.
• GCN는 평균 기준선과 유사한 성능(RMSE ≈ 0.6766)을 보이며 R²가 거의 0에 수렴해, 비선형 능력이 있음에도 불구하고 상호작용 패턴을 학습하지 못한 것으로 나타났다.
• GAT은 향상된 성능(RMSE ≈ 0.1685, R² ≈ 0.8774)을 보였지만 표준편차가 0.18 이상으로 높아 상호작용 학습이 일관되지 않음을 시사했다.
• 실제 교통 데이터에서 MPNN는 GCN 및 GAT보다 뛰어난 예측 성능을 보이며 실용적 상황에서의 효과성을 확인했다.
• 결과적으로 메시지 전파 기반 GNNs는 다른 GNN 유형이 포착하지 못하는 복잡한 비선형 상호작용을 유일하게 모델링할 수 있음을 확인했다.