[논문 리뷰] Explainable Graph Pyramid Autoformer for Long-Term Traffic Forecasting

Weiheng Zhong, Tanwi Mallick외 3명|arXiv (Cornell University)|2022. 09. 27.

Traffic Prediction and Management Techniques인용 수 8

한 줄 요약

이 논문은 장기 교통 예측을 위한 새로운 피라미드 자동상관 주의 메커니즘을 갖춘 설명 가능한 그래프 신경망 X-GPA를 제안한다. 시간적 특징을 계층적으로 추출하고 그래프 주의를 통해 공간적 의존성을 모델링함으로써, 기존 최고 수준의 방법들보다 최대 35% 높은 정확도를 달성하면서 다양한 조건에서 교통 동역학의 공간적 및 시간적 설명을 주의 점수 기반으로 제공한다.

ABSTRACT

Accurate traffic forecasting is vital to an intelligent transportation system. Although many deep learning models have achieved state-of-art performance for short-term traffic forecasting of up to 1 hour, long-term traffic forecasting that spans multiple hours remains a major challenge. Moreover, most of the existing deep learning traffic forecasting models are black box, presenting additional challenges related to explainability and interpretability. We develop Graph Pyramid Autoformer (X-GPA), an explainable attention-based spatial-temporal graph neural network that uses a novel pyramid autocorrelation attention mechanism. It enables learning from long temporal sequences on graphs and improves long-term traffic forecasting accuracy. Our model can achieve up to 35 % better long-term traffic forecast accuracy than that of several state-of-the-art methods. The attention-based scores from the X-GPA model provide spatial and temporal explanations based on the traffic dynamics, which change for normal vs. peak-hour traffic and weekday vs. weekend traffic.

연구 동기 및 목표

• 1시간 이상의 장기 교통 예측 과제에 대해 기존 모델이 시간적 시퀀스의 복잡성과 계산 비용으로 인해 어려움을 겪는 문제를 해결하기 위해.
• 도로 네트워크 내에서 계층적 시간 패tern과 공간적 의존성을 모델링하여 장기 교통 예측의 정확도를 향상시키기 위해.
• 장기적인 시간적 의존성을 포착하면서도 계산 복잡도를 줄이는 새로운 주의 메커니즘을 도입하기 위해.
• 예측의 공간적 및 시간적 영향력을 설명할 수 있는 내재적 해석 가능성(해석 가능성)을 주의 점수를 통해 제공하여 교통 관리자들이 신뢰하고 통찰을 얻을 수 있도록 하기 위해.
• 대부분의 딥 러닝 모델이 투명하지 않은 블랙박스 성향을 지닌 점을 고려해, 높은 정확도와 해석 가능성을 동시에 확보한 장기 교통 예측의 새로운 SOTA를 수립하기 위해.

제안 방법

• X-GPA는 도로 네트워크 내 주행 거리와 쌍별 노드 관계를 사용하여 공간적 의존성을 모델링하기 위해 그래프 주의 네트워크를 활용한다.
• 시간 시리즈를 계층적 패치로 처리하고 자동상관을 사용해 특징을 통합함으로써 장기적인 시간 패턴을 포착하는 피라미드 자동상관 주의 메커니즘을 도입한다.
• 표준 $O(n^2)$ 주의와 비교해 패치 기반 자기주의를 사용함으로써 계산 복잡도를 감소시켜 장시간 시퀀스의 효율적 처리를 가능하게 한다.
• 계층적 패치 전략을 통해 다중 스케일에서 시간적 특징을 추출하고, 자동상관을 통한 융합을 통해 장기 의존성 학습을 향상시킨다.
• Transformer 기반 아키텍처를 통해 공간적 및 시간적 표현을 통합하여, 복잡한 시공간 동역학의 엔드 투 엔드 학습을 가능하게 한다.
• 최종 레이어의 주의 점수를 활용해 예측에 영향을 주는 핵심 공간적 위치와 시간 창을 강조하는 해석 가능한 설명을 생성한다.

실험 결과

연구 질문

• RQ1 새로운 주의 메커니즘이 계산 효율성을 유지하면서도 교통 시계열의 장기적 시간 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 피라미드 자동상관 주의 메커니즘이 기존 표준 자기주의 또는 순환 아키텍처에 비해 장기 교통 예측에서 정확도를 어떻게 향상시키는가?
• RQ3 모델의 주의 점수가 정상 시간대와 정점 시간대, 평일과 주말 등 다양한 조건에서 교통 예측에 대해 의미 있는 해석 가능한 설명을 제공할 수 있는가?
• RQ4 X-GPA는 다양한 실생활 데이터셋에서 기존의 최고 수준의 공간-시간 그래프 신경망보다 장기 교통 예측 정확도에서 뛰어나게 성능을 냈는가?
• RQ5 기존의 주의 기반 또는 순환 GNN과 비교해 장시간 시퀀스에 대해 훈련 시간을 줄이며 높은 성능을 유지할 수 있는가?

주요 결과

• X-GPA는 PEMS-Bay 및 Metr-LA 데이터셋에서 기존 SOTA 방법 대비 최대 35% 높은 장기 교통 예측 정확도를 달성한다.
• 사례 1(15–60분 예측)에서 X-GPA는 HA 및 Autoformer를 초월하며, PEMS-Bay에서는 15분 예측 시 1.49 mph, 30분 시 1.87 mph, 60분 시 2.23 mph의 MAE를 기록하고, Metr-LA에서는 각각 2.29 mph, 2.91 mph, 3.76 mph를 기록한다.
• 사례 2(집계된 역사적 데이터)에서 X-GPA는 STGCN 및 ASTGCN보다 낮은 MAE를 기록하며, PEMS-Bay에서는 15분 시 1.32 mph, 30분 시 1.62 mph, 60분 시 1.95 mph를 기록하고, Metr-LA에서는 각각 2.12 mph, 2.72 mph, 3.50 mph를 기록한다.
• 사례 3(선택적 역사적 입력)에서 X-GPA는 최고의 성능을 기록하며, PEMS-Bay에서는 15분 시 1.43 mph, 30분 시 1.79 mph, 60분 시 2.27 mph를 기록하고, Metr-LA에서는 각각 2.49 mph, 3.60 mph, 4.07 mph를 기록한다.
• X-GPA는 DCRNN 및 ASTGCN보다 훨씬 낮은 훈련 시간을 기록하며, PEMS-Bay에서는 4.5시간, Metr-LA에서는 3.5시간을 소요하여 각각 12,600시간 및 1,512시간에 비해 높은 효율성을 입증한다.
• 모델은 정상 시간대와 정점 시간대, 평일과 주말 간에 의미 있게 다름을 보이는 주의 점수 기반 설명을 제공하여 교통 동역학에 대한 해석 가능한 통찰을 가능하게 한다.