[논문 리뷰] Spatio-Temporal meets Wavelet: Disentangled Traffic Flow Forecasting via Efficient Spectral Graph Attention Network

Yuchen Fang, Yanjun Qin외 5명|arXiv (Cornell University)|2021. 12. 06.

Traffic Prediction and Management Techniques인용 수 6

한 줄 요약

이 논문은 이산 웨이블릿 변환(DWT)을 사용하여 교통 시계열을 저주파수 및 고주파수 성분으로 분리함으로써 장기 및 단기 시간 패턴을 별도로 모델링할 수 있도록 하는 새로운 스펙트럼 시간 예측 모델인 STWave를 제안한다. 이는 이중 채널 인코더를 통해 장기 패턴과 단기 동적 패턴을 각각 처리한다. 또한 웨이블릿 기반 그래프 위치 인코딩과 쿼리 샘플링을 도입한 효율적인 스펙트럼 그래프 어텐션 네트워크(ESGAT)를 제안하여 계산 복잡도를 O(N log N)으로 줄였으며, 네 개의 실세계 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 추론 비용을 낮춘다.

ABSTRACT

Traffic forecasting is crucial for public safety and resource optimization, yet is very challenging due to three aspects: i) current existing works mostly exploit intricate temporal patterns (e.g., the short-term thunderstorm and long-term daily trends) within a single method, which fail to accurately capture spatio-temporal dependencies under different schemas; ii) the under-exploration of the graph positional encoding limit the extraction of spatial information in the commonly used full graph attention network; iii) the quadratic complexity of the full graph attention introduces heavy computational needs. To achieve the effective traffic flow forecasting, we propose an efficient spectral graph attention network with disentangled traffic sequences. Specifically, the discrete wavelet transform is leveraged to obtain the low- and high-frequency components of traffic sequences, and a dual-channel encoder is elaborately designed to accurately capture the spatio-temporal dependencies under long- and short-term schemas of the low- and high-frequency components. Moreover, a novel wavelet-based graph positional encoding and a query sampling strategy are introduced in our spectral graph attention to effectively guide message passing and efficiently calculate the attention. Extensive experiments on four real-world datasets show the superiority of our model, i.e., the higher traffic forecasting precision with lower computational cost.

연구 동기 및 목표

• 통합된 방법을 사용하여 복잡하고 얽힌 시간 패턴을 모델링하는 데 도전하는 것.
• 교통 예측에서 전체 그래프 어텐션 네트워크(GAT)의 이차 복잡도 문제를 해결하는 것.
• 새로운 그래프 위치 인코딩을 통해 구조적 인도적 편향을 통합함으로써 GAT의 공간 메시지 전달을 향상시키는 것.
• 장기(저주파수) 및 단기(고주파수) 교통 역학을 별도로 모델링하여 예측 정확도를 향상시키는 것.
• 효율적인 어텐션 메커니즘과 다중 감독 학습을 통해 계산 비용을 줄이며 높은 성능을 달성하는 것.

제안 방법

• 원시 교통 시계열을 저주파수(장기 추세) 및 고주파수(단기 변동) 성분으로 분해하기 위해 이산 웨이블릿 변환(DWT)을 적용한다.
• 이중 채널 공간 시간 인코더를 설계한다: 한 채널은 장기 패턴을 위해 확장된 인과 컨볼루션을 사용하고, 다른 채널은 단기 동적 패턴을 위해 시간 어텐션을 사용한다.
• 융합 어텐션은 양 채널의 잠재 표현을 통합하여 통합 예측을 생성한다.
• 전체 교통 흐름과 병행하여 저주파수 성분을 예측하기 위한 다중 감독 전략을 적용하여 장기 추세 학습을 향상시킨다.
• 계산 비용을 줄이기 위해 표준 GAT를 대체할 O(N log N) 복잡도를 가진 효율적인 스펙트럼 그래프 어텐션 네트워크(ESGAT)를 제안한다.
• 웨이블릿 기반 그래프 위치 인코딩을 도입하여 구조적 정보와 국소화된 정보를 함께 활용해 메시지 전달을 안내하고, 쿼리 샘플링을 통해 어텐션 계산을 희소화한다.

실험 결과

연구 질문

• RQ1 저주파수 및 고주파수 성분으로 교통 시계열을 분리함으로써 장기 및 단기 시간 의존성의 모델링이 향상되는가?
• RQ2 O(N log N) 복잡도를 가진 효율적인 스펙트럼 그래프 어텐션 메커니즘이 계산 비용을 줄이면서도 표준 GAT보다 교통 예측에서 뛰어난 성능을 내는가?
• RQ3 웨이블릿 기반 그래프 위치 인코딩이 구조적 정보와 국소화된 정보를 통합함으로써 그래프 어텐션 네트워크의 공간 메시지 전달을 향상시키는가?
• RQ4 저주파수 성분에 대한 다중 감독이 장기 교통 추세 예측을 어떻게 향상시키는가?
• RQ5 ESGAT를 사용할 경우, 일반 GAT나 전체 어텐션과 비교했을 때 정확도, 추론 속도, 메모리 사용량 사이의 상호 교환 관계는 어떠한가?

주요 결과

• STWave는 네 개의 실세계 데이터셋(PeMSD4, PeMSD8, METR-LA, Pems-Bay)에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하여 MAE, RMSE, MAPE 지표에서 모두 뛰어난 결과를 보였다.
• 제거 실험에서 ESGAT 모듈을 제거한 경우("-S") 성능 저하가 시간 성분을 제거한 경우("-T")보다 더 크게 나타나, 공간 모델링의 중요성이 더 높다는 것을 시사한다.
• 모든 구성 요소를 포함한 전체 STWave 모델이 가장 우수한 성능을 기록하여, DWT, 이중 채널 인코더, 융합 어텐션, 다중 감독, ESGAT의 다섯 가지 핵심 구성 요소의 효과성을 확인한다.
• 파라미터 민감도 분석 결과, 8개의 어텐션 헤드와 헤드당 16차원이 최적 성능을 내며, 2층일 때 성능이 안정화됨을 확인하였다.
• 기준 모델들과 비교했을 때, STWave는 속도, 메모리 사용량, 정확도 사이의 최적의 균형을 달성하여 LSGCN, STGODE 및 일반 GAT 또는 전체 어텐션을 사용한 변종보다 뛰어난 성능을 보였다.
• 웨이블릿 기반 그래프 위치 인코딩은 고유값 벡터(EV)나 node2vec(N2V)와 같은 대안보다 성능 향상이 뚜렷했으며, 구조적 정보와 국소화 정보의 균형을 잘 잡는 데 효과적임을 입증했다.