[論文レビュー] ST-MLP: A Cascaded Spatio-Temporal Linear Framework with Channel-Independence Strategy for Traffic Forecasting

Zepu Wang, Yuqi Nie+4 more|arXiv (Cornell University)|Aug 14, 2023

Traffic Prediction and Management Techniques被引用数 15

ひとこと要約

ST-MLP は、チャネル独立性と事前定義されたグラフの指針を用いた、連結されたMLPベースの時空モデルで、交通を予測し、最先端のSTGNNよりも高い効率で性能を発揮する。

ABSTRACT

The criticality of prompt and precise traffic forecasting in optimizing traffic flow management in Intelligent Transportation Systems (ITS) has drawn substantial scholarly focus. Spatio-Temporal Graph Neural Networks (STGNNs) have been lauded for their adaptability to road graph structures. Yet, current research on STGNNs architectures often prioritizes complex designs, leading to elevated computational burdens with only minor enhancements in accuracy. To address this issue, we propose ST-MLP, a concise spatio-temporal model solely based on cascaded Multi-Layer Perceptron (MLP) modules and linear layers. Specifically, we incorporate temporal information, spatial information and predefined graph structure with a successful implementation of the channel-independence strategy - an effective technique in time series forecasting. Empirical results demonstrate that ST-MLP outperforms state-of-the-art STGNNs and other models in terms of accuracy and computational efficiency. Our finding encourages further exploration of more concise and effective neural network architectures in the field of traffic forecasting.

研究の動機と目的

• 精密な交通予測のための軽量アーキテクチャの正当化と、 growing STGNN の複雑性の高まりに対処。
• 多変量時系列における分布シフトと過剰適合を緩和するためのチャネル独立性の活用。
• 事前定義されたグラフ構造と潜在的な空間的手掛かりの両方を、 cascaded なMLPフレームワーク内に組み込む。
• 連結型で CI ベースの設計が、精度と効率の点で複雑な STGNN を凌駕し得ることを示す。

提案手法

• 時空データを3つの埋め込みストリームで表現する：時間的（TD と DW）、空間的（事前定義されたグラフと未知の空間手掛かり）、およびデータ埋め込み。
• 3つのMLPモジュール（A、B、C）を連結的に処理して時空埋め込みを構築し、その後線形層を介して予測へマッピング。
• 分布シフトと過剰適合を低減するため、時刻次元内でのチャンネル非依存性を維持し、チャネル間の混合を避ける。
• 事前定義されたグラフ情報を取り込み、隣接行列から空間埋め込みを学習し、それを未知の空間手掛かりと組み合わせる。
• 12ステップの歴史から予測へのウィンドウで訓練し、MAE、RMSE、MAPEを用いて15分・30分・60分のホライゾンで評価する。

実験結果

リサーチクエスチョン

• RQ1 CI/MLP ベースの cascaded モデルは STGNN と比較して交通予測で競合する精度を達成できるか？
• RQ2 事前定義グラフ構造と学習された空間手掛かりの両方を取り入れることは、いずれか一方を使用するより性能を改善するか？
• RQ3 CI/ST-MLP は CM バリアントと比較して、分布シフトへの頑健性と交通データセットでの一般化においてどうなるか？

主な発見

Dataset	Horizon	Model	MAE	RMSE	MAPE	Dataset	Horizon	Model	MAE	RMSE	MAPE

• ST-MLP は複数の交通データセット（PEMS-BAY、PEMS04、PEMS07、PEMS08）で、STGNN を含む10件超のベースラインと比較して最高または競争的な精度を達成している。
• 連結埋め込み設計は、単純な連結アプローチに対して優れた予測性能を示す。
• チャネル独立性は分布シフトへの頑健性と一般化を提供し、チャネル混合（CM）バリアントよりも高いテスト精度を示す一方で訓練誤差を低く抑えることはない。
• ST-MLP は STGNN に比べて訓練時間が大幅に速く、単純なMLPベースのアーキテクチャからの効率向上を強調する。
• 時刻埋め込み（Time in Day）は最も重要な要素として浮上し、グラフベースおよび未知の空間埋め込みは組み合わせると追加の利得を提供する。
• アブレーションにより cascaded 構造の利点が確認され：埋め込みコンポーネントを削除するか、非 cascaded 融合を用いると性能が低下する。