[論文レビュー] GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks

Zhonghang Li, Lianghao Xia+2 more|arXiv (Cornell University)|Nov 7, 2023

Traffic Prediction and Management Techniques被引用数 14

ひとこと要約

GPT-ST は階層ハイパーグラフと適応マスキングを用いた時空の事前学習フレームワークを導入し、下流の時空予測モデルを改善します。

ABSTRACT

In recent years, there has been a rapid development of spatio-temporal prediction techniques in response to the increasing demands of traffic management and travel planning. While advanced end-to-end models have achieved notable success in improving predictive performance, their integration and expansion pose significant challenges. This work aims to address these challenges by introducing a spatio-temporal pre-training framework that seamlessly integrates with downstream baselines and enhances their performance. The framework is built upon two key designs: (i) We propose a spatio-temporal mask autoencoder as a pre-training model for learning spatio-temporal dependencies. The model incorporates customized parameter learners and hierarchical spatial pattern encoding networks. These modules are specifically designed to capture spatio-temporal customized representations and intra- and inter-cluster region semantic relationships, which have often been neglected in existing approaches. (ii) We introduce an adaptive mask strategy as part of the pre-training mechanism. This strategy guides the mask autoencoder in learning robust spatio-temporal representations and facilitates the modeling of different relationships, ranging from intra-cluster to inter-cluster, in an easy-to-hard training manner. Extensive experiments conducted on representative benchmarks demonstrate the effectiveness of our proposed method. We have made our model implementation publicly available at https://github.com/HKUDS/GPT-ST.

研究の動機と目的

• 下流の予測タスクのための頑健な時空表現学習を動機づける。
• 内在・クラスター間の関係を捉えるために時刻および空間表現のカスタマイズを可能にする。
• 階層ハイパーグラフとカプセルベースクラスタリングを介してグローバル地域の類似性をモデル化する。
• 事前学習を多様な ST ベースラインと統合してエンドツーエンドの改善を促す。

提案手法

• Masked autoencoding pre-training to reconstruct masked spatio-temporal data via a ST representation function f.
• Customized temporal pattern encoding with time- and region-specific parameters generated by a parameter learner.
• Hierarchical spatial encoding using a hypergraph capsule clustering network to capture global region similarities.
• Cross-cluster relation learning with a high-level hypergraph to model inter-cluster dynamics.
• Cluster-aware masking strategy that progressively masks clusters to promote intra- and inter-cluster learning; KL-divergence loss aligns learned cluster signals with masking predictions.

実験結果

リサーチクエスチョン

• RQ1 RQ1: GPT-ST はデータセットを横断して下流の時空予測ベースラインをどのように改善するか？
• RQ2 RQ2: 設計されたモジュール（時相エンコーディング、階層的空間エンコード、マスキング）は GPT-ST でどの程度有効か？
• RQ3 RQ3: 学習したグローバル地域クラスターとクラスター間遷移を意味のある形で解釈できるか？
• RQ4 RQ4: 事前学習および下流タスクにおける GPT-ST の効率性はどの程度か？
• RQ5 RQ5: マスク比を変えると GPT-ST の性能はどう変わるか？

主な発見

Model	Dataset	MAE	RMSE	MAPE
STGCN	PEMS08	17.85	28.64	11.08%
STGCN w/ GPT-ST	PEMS08	16.24	25.93	10.45%
GWN	PEMS08	15.29	24.59	9.98%
GWN w/ GPT-ST	PEMS08	14.72	24.12	9.42%
MTGNN	METR-LA	15.28	24.70	9.72%
MTGNN w/ GPT-ST	METR-LA	14.93	24.46	9.67%
STGODE	NYC Taxi	17.73	27.53	11.39%
STGODE w/ GPT-ST	NYC Taxi	15.68	24.84	10.46%
STWA	NYC Citi Bike	16.16	25.80	10.55%
STWA w/ GPT-ST	NYC Citi Bike	15.29	24.50	9.81%
GWN*	NYC Taxi	13.97	22.94	9.28%
GWN* w/ STEP	NYC Taxi	14.38	23.33	9.07%

• GPT-ST は複数の ST データセットとモデルにわたり下流ベースラインを一貫して改善する。
• ハイパーグラフカプセルクラスタリングとクラスター間学習が性能向上に顕著に寄与し、これらの要素を除くと Ablation で最大の低下が見られる。
• 適応型クラスター対応マスキングは、クラスター内外の表現を促進する点でランダムマスキングや他のマスキング戦略より優れる。
• GPT-ST の事前学習戦略は、長期データが限られている場合でも STEP および長期事前学習ベースラインと比較して改善をもたらす。
• 多くの利益は古典的なベースライン（例: STGCN）で観察され、SOTA の高度に設計されたモデルよりも GPT-ST が単純なアーキテクチャを補完していることを示す。