[論文レビュー] Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction

Jiahao Ji, Jingyuan Wang+6 more|arXiv (Cornell University)|Dec 7, 2022

Traffic Prediction and Management Techniques被引用数 13

ひとこと要約

本稿では、空間的・時間的不均一性を適応的グラフ増強と二重自己教師学習タスクを用いてモデル化することで、交通フロー予測における空間的・時間的不均一性を捉える新しいスパティオテンポラル自己教師学習フレームワークST-SSLを提案する。4つのベンチマークデータセットにおいて、最新の最先端手法を上回り、不均一性に強いレプリゼンテーションを学習する。

ABSTRACT

Robust prediction of citywide traffic flows at different time periods plays a crucial role in intelligent transportation systems. While previous work has made great efforts to model spatio-temporal correlations, existing methods still suffer from two key limitations: i) Most models collectively predict all regions' flows without accounting for spatial heterogeneity, i.e., different regions may have skewed traffic flow distributions. ii) These models fail to capture the temporal heterogeneity induced by time-varying traffic patterns, as they typically model temporal correlations with a shared parameterized space for all time periods. To tackle these challenges, we propose a novel Spatio-Temporal Self-Supervised Learning (ST-SSL) traffic prediction framework which enhances the traffic pattern representations to be reflective of both spatial and temporal heterogeneity, with auxiliary self-supervised learning paradigms. Specifically, our ST-SSL is built over an integrated module with temporal and spatial convolutions for encoding the information across space and time. To achieve the adaptive spatio-temporal self-supervised learning, our ST-SSL first performs the adaptive augmentation over the traffic flow graph data at both attribute- and structure-levels. On top of the augmented traffic graph, two SSL auxiliary tasks are constructed to supplement the main traffic prediction task with spatial and temporal heterogeneity-aware augmentation. Experiments on four benchmark datasets demonstrate that ST-SSL consistently outperforms various state-of-the-art baselines. Since spatio-temporal heterogeneity widely exists in practical datasets, the proposed framework may also cast light on other spatial-temporal applications. Model implementation is available at https://github.com/Echo-Ji/ST-SSL.

研究の動機と目的

• 都市部の異なる地域における歪んだ交通分布のための既存モデルが空間的不均一性を捉えきれていないという限界に対処する。
• 特に異なる日付や期間における時間変動する交通パターンをモデル化する際、共通の時間パラメータ化が失敗することを克服する。
• 手動で設計された特徴量や過剰なパラメータに依存せずに、表現学習を向上させる自己教師学習フレームワークを開発する。
• 潜在表現空間に空間的・時間的不均一性の認識を組み込むことで、都市全体の交通予測における汎化性とロバスト性を向上させる。

提案手法

• 地域間のスパティオテンポラル交通パターンを符号化するために、グラフニューラルネットワーク内に時系列および空間的畳み込みを統合する。
• 地域の交通不均一性に基づいてノード属性およびグラフ構造の両方を変更する、適応的データ増強戦略を設計する。
• 柔らかいクラスタリングを用いた空間的自己教師学習タスクを導入し、地域固有のパターンを学習し、多様な都市機能間の識別性を向上させる。
• 時間に依存する対照学習タスクを提案し、異なる時間帯のダイナミクスを区別することで、時間的不均一性を保持する。
• 主な交通フローパredictionタスクと二つの補助的自己教師学習タスクを統合し、表現品質と汎化性を向上させる。
• 空間的接続性と時系列データを持つグラフ構造データを用いて、実世界の交通データセットにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 自己教師学習フレームワークは、異なる都市地域における交通フロー分布の空間的不均一性を効果的にモデル化できるか？
• RQ2 作業日と休日のような違いを含む時間的不均一性は、統一された表現空間にどのように組み込むことができるか？
• RQ3 適応的グラフ増強は、実際の都市機能的類似性や相違性をよりよく反映することで、モデル性能を向上させるか？
• RQ4 提案された自己教師学習補助タスクは、外部特徴量を必要とせずに、主な予測タスクのロバスト性と正確性をどの程度向上させるか？

主な発見

• ST-SSLは、MAEおよびRMSEの観点で、4つのベンチマーク交通データセットにおいて複数の最先端手法を一貫して上回る。
• 高流量地域および低流量地域の両方で優れた性能を達成しており、人気または密集した地域に偏ったバイアスが少ないことが示された。
• t-SNE可視化により、ST-SSLの埋め込み表現がクラス内ではよりコンパクトでクラス間ではより明確に分離されていることが確認され、表現学習の向上が裏付けられた。
• 適応的グラフ増強は、機能的に類似しない地域間の低相関接続を効果的に除去し、機能的に類似した地域間に長距離依存関係を確立した。
• 提案された自己教師学習タスクは、外部特徴量を必要とせずに、多様な交通パターンにわたるモデルの汎化能力を顕著に向上させた。
• フレームワークは、曜日や休日変動を含む複雑なスパティオテンポラルダイナミクスを示す実世界のシナリオに対しても、良好に一般化した。