[논문 리뷰] ST-MLP: A Cascaded Spatio-Temporal Linear Framework with Channel-Independence Strategy for Traffic Forecasting

Zepu Wang, Yuqi Nie외 4명|arXiv (Cornell University)|2023. 08. 14.

Traffic Prediction and Management Techniques인용 수 15

한 줄 요약

ST-MLP는 채널 독립성과 미리 정의된 그래프 가이드를 활용해 교통을 예측하는 간결한 계단식 MLP 기반 시공간 모델로, 더 높은 효율성으로 최첨단 STGNN보다 성능이 우수합니다.

ABSTRACT

The criticality of prompt and precise traffic forecasting in optimizing traffic flow management in Intelligent Transportation Systems (ITS) has drawn substantial scholarly focus. Spatio-Temporal Graph Neural Networks (STGNNs) have been lauded for their adaptability to road graph structures. Yet, current research on STGNNs architectures often prioritizes complex designs, leading to elevated computational burdens with only minor enhancements in accuracy. To address this issue, we propose ST-MLP, a concise spatio-temporal model solely based on cascaded Multi-Layer Perceptron (MLP) modules and linear layers. Specifically, we incorporate temporal information, spatial information and predefined graph structure with a successful implementation of the channel-independence strategy - an effective technique in time series forecasting. Empirical results demonstrate that ST-MLP outperforms state-of-the-art STGNNs and other models in terms of accuracy and computational efficiency. Our finding encourages further exploration of more concise and effective neural network architectures in the field of traffic forecasting.

연구 동기 및 목표

• 경량화된 아키텍처를 활용한 정확한 교통 예측의 필요성 증가 속에서 STGNN의 복잡성에 대응.
• 다변량 시계열에서 분포 변화와 과적합을 완화하기 위해 채널 독립성을 활용.
• 정해진 그래프 구조와 잠재적 공간 신호를 cascaded MLP 프레임워크에 결합.
• 연쇄적이고 CI 기반 설계가 복잡한 STGNN보다 정확도와 효율성 면에서 우세함을 보여주기

제안 방법

• 시공간 데이터를 시간적(TD, DW), 공간적(정의된 그래프와 알려지지 않은 공간 신호), 데이터 임베딩이라는 세 가지 임베딩 스트림으로 표현합니다.
• A, B, C의 세 MLP 모듈을 통해 연쇄적으로 임베딩을 처리하여 시공간 임베딩을 구축한 후 선형 계층으로 예측으로 매핑합니다.
• 배경 의사소통을 줄이고 분포 변화와 과적합을 줄이기 위해 시간 차원 내에서 채널 독립성을 유지합니다.
• 인접 행렬에서 공간 임베딩을 학습하고 이를 알려진 공간 신호와 결합하여 정의된 그래프 정보를 통합합니다.
• 12단계의 과거에서 예측으로의 윈도우로 학습하고 MAE, RMSE, MAPE를 사용하여 15-, 30-, 60분 예측 구간을 평가합니다.

실험 결과

연구 질문

• RQ1 CI/ST-MLP 기반의 연쇄적 MLP 모델이 STGNN과 비교하여 교통 예측에서 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 정의된 그래프 구조와 학습된 공간 신호를 모두 포함하는 것이 둘 중 하나만 사용하는 것보다 성능을 향상시키는가?
• RQ3 CI/ST-MLP가 교통 데이터셋에서 분포 변화에 대한 견고성과 일반화 측면에서 CM 변형들과 비교하여 어떤 차이가 있는가?

주요 결과

• ST-MLP는 PEMS-BAY, PEMS04, PEMS07, PEMS08 등 여러 교통 데이터셋에서 STGNN 및 최근 시계열 모델을 포함한 10개가 넘는 기준 모델과 비교해 최상의 정확도 또는 경쟁력 있는 정확도를 보였습니다.
• 연쇄 임베딩 설계가 단순한 연결(concatenation) 접근 방식보다 예측 성능이 우수하게 나타났습니다.
• 채널 독립성은 분포 변화에 대한 견고함과 일반화 측면에서 채널 혼합(CM) 변형보다 우수하며, CM 변형은 학습 오차를 더 낮추더라도 테스트 정확도는 더 낮게 나타났습니다.
• ST-MLP는 STGNN 대비 훨씬 빠른 학습 시간을 보여주며, 단순한 MLP 기반 아키텍처의 효율성 향상을 강조합니다.
• 시간적 임베딩(Time in Day)이 가장 중요한 구성 요소로 나타나며, 그래프 기반 및 알려지지 않은 공간 임베딩은 결합 시 추가 이점을 제공합니다.
• 제거 임베딩 구성 요소나 비-연쇄적 융합을 사용하는 경우 성능이 저하되는 것으로 확인되어 연쇄적 구조의 이점이 확인됩니다.