[論文レビュー] Spatial-Temporal Graph Learning with Adversarial Contrastive Adaptation

Qianru Zhang, Chao Huang+4 more|arXiv (Cornell University)|Jun 19, 2023

Data-Driven Disease Surveillance被引用数 5

ひとこと要約

本稿では、ノイズが多く不完全な都市データにおいて、頑健性と表現品質を向上させるために敵対的対照学習とクロスビュー対照学習を活用する空間時系列グラフ学習モデル、GraphSTを提案する。硬いサンプルを適応的に特定し、マルチビュー自己教師信号を蒸留することで、実世界のデータセットにおいて犯罪予測および交通予測タスクで最先端の性能を達成する。

ABSTRACT

Spatial-temporal graph learning has emerged as a promising solution for modeling structured spatial-temporal data and learning region representations for various urban sensing tasks such as crime forecasting and traffic flow prediction. However, most existing models are vulnerable to the quality of the generated region graph due to the inaccurate graph-structured information aggregation schema. The ubiquitous spatial-temporal data noise and incompleteness in real-life scenarios pose challenges in generating high-quality region representations. To address this challenge, we propose a new spatial-temporal graph learning model (GraphST) for enabling effective self-supervised learning. Our proposed model is an adversarial contrastive learning paradigm that automates the distillation of crucial multi-view self-supervised information for robust spatial-temporal graph augmentation. We empower GraphST to adaptively identify hard samples for better self-supervision, enhancing the representation discrimination ability and robustness. In addition, we introduce a cross-view contrastive learning paradigm to model the inter-dependencies across view-specific region representations and preserve underlying relation heterogeneity. We demonstrate the superiority of our proposed GraphST method in various spatial-temporal prediction tasks on real-life datasets. We release our model implementation via the link: \url{https://github.com/HKUDS/GraphST}.

研究の動機と目的

• 既存の空間時系列グラフモデルがノイズが多く不完全な都市データに対して脆弱であるという問題に取り組む。
• 完璧なグラフ構造に依存しない、頑健で高品質な領域表現を生成する自己教師型事前学習フレームワークを開発する。
• 対照学習中に硬いポジティブおよびネガティブサンプルを自動で特定することで、モデルの頑健性を向上させる。
• 異なる視点における領域関係の相関関係をモデル化することで、潜在的な関係の多様性を保持する。
• 有効な自己教師信号の蒸留により、手作業による特徴工学の依存度を低減する。

提案手法

• GraphSTは、地域間のグローバルな都市的文脈を反映する学習可能な関数を用い、文脈に配慮したグラフ表現学習を可能にする。
• 最小最大最適化フレームワークを用いて、硬いポジティブおよびネガティブサンプルを自動で特定する敵対的対照学習パラダイムを導入する。
• 生成的オートエンコーダーを用いて、グラフ構造に適応する自己教師信号を生成し、データ拡張に活用する。
• ビュー固有の領域表現間の依存関係をモデル化するためにクロスビュー対照学習を適用し、表現の均一性と識別性を向上させる。
• POI行列、人間の移動軌跡、空間的距離行列を含むマルチビュー入力を統合し、領域埋め込みを豊かにする。
• 対照的および再構成的目的の共同最適化により、エンドツーエンドの学習が可能となり、表現学習の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く不完全なデータが存在する中で、空間時系列グラフの事前学習に効果的な自己教師信号をどのように生成できるか？
• RQ2 対照学習中に硬いサンプルを自動で特定することで、モデルの頑健性と表現の識別性をどのように向上できるか？
• RQ3 異なる視点における領域関係の相関関係をどのようにモデル化し、潜在的な関係の多様性を保持できるか？
• RQ4 敵対的対照学習は、データの摂動下でもグラフ構造表現の品質をどのように向上させるか？
• RQ5 クロスビュー対照学習は、学習された領域埋め込みの均一性と頑健性をどのように向上させるか？

主な発見

• GraphSTは、NYCの犯罪予測においてMAEが2.1060を達成し、次善のベースライン（3.5971）を40%以上も上回る。
• 同じタスクでMAPEを0.5203まで低下させ、最先端の手法と比較して優れた予測精度を示した。
• GraphSTの学習時間は275.1秒であり、CGAL（4144.8秒）やMGFN（852.3秒）といった複数のSOTAモデルよりも効率的である。
• アブレーションスタディの結果、敵対的対照学習とクロスビュー対照学習の両方が性能向上に顕著な貢献をしていることが確認された。
• 交通フロー予測や犯罪予測を含む多様な空間時系列予測タスクにおいて、強力な汎化性能を示した。
• 自己教師信号の蒸留機構により、手作業による特徴工学の依存度を低減しながらも、高品質な表現を維持した。