[論文レビュー] Spatio-Temporal Graph Contrastive Learning

Xu Liu, Yuxuan Liang+3 more|arXiv (Cornell University)|Aug 26, 2021

Human Mobility and Location-Based Analysis参考文献 27被引用数 7

ひとこと要約

本稿では、予測損失と補助的コントラスト学習損失を統合することで、深層学習モデルのSTG予測性能を向上させる、STGCLと呼ばれる新しい時空間グラフコントラスト学習フレームワークを提案する。4種類のドメイン固有のデータ拡張とルールベースのネガティブフィルタリング戦略を導入し、事前学習を必要とせず、複数のデータセットおよびモデルで一貫した性能向上を達成した。

ABSTRACT

Deep learning models are modern tools for spatio-temporal graph (STG) forecasting. Despite their effectiveness, they require large-scale datasets to achieve better performance and are vulnerable to noise perturbation. To alleviate these limitations, an intuitive idea is to use the popular data augmentation and contrastive learning techniques. However, existing graph contrastive learning methods cannot be directly applied to STG forecasting due to three reasons. First, we empirically discover that the forecasting task is unable to benefit from the pretrained representations derived from contrastive learning. Second, data augmentations that are used for defeating noise are less explored for STG data. Third, the semantic similarity of samples has been overlooked. In this paper, we propose a Spatio-Temporal Graph Contrastive Learning framework (STGCL) to tackle these issues. Specifically, we improve the performance by integrating the forecasting loss with an auxiliary contrastive loss rather than using a pretrained paradigm. We elaborate on four types of data augmentations, which disturb data in terms of graph structure, time domain, and frequency domain. We also extend the classic contrastive loss through a rule-based strategy that filters out the most semantically similar negatives. Our framework is evaluated across three real-world datasets and four state-of-the-art models. The consistent improvements demonstrate that STGCL can be used as an off-the-shelf plug-in for existing deep models.

研究の動機と目的

• 事前学習された表現が下流タスクの性能を向上させないという、従来のグラフコントラスト学習手法の限界を解消すること。
• ノイズ耐性および構造的保存性に特化した、STGデータに適した有効なデータ拡張戦略の欠如を克服すること。
• 意味的類似度を考慮して、最も意味的に類似したネガティブサンプルを除外することで、コントラスト学習による表現品質を向上させること。
• 事前学習やアーキテクチャの変更を必要とせず、既存の深層STGモデルを強化できる、プラグアンドプレイ型フレームワークの開発

提案手法

• 別個の事前学習フェーズを回避するため、訓練中に予測損失と補助的コントラスト学習損失を統合する。
• 4種類のデータ拡張を設計：グラフ構造の摂動、時間シフト、周波数ドメインマスク、特徴量ノイズ注入。
• 最も意味的に類似したネガティブサンプルを除外することで、コントラスト学習信号の質を向上させるルールベースのネガティブフィルタリング機構を提案。
• 局所的およびグローバルな依存関係を保持するために、空間的および時間的グラフ構造の両方でコントラスト損失を適用する。
• 予測とコントラストの目的関数を統合して、エンドツーエンドでモデルを訓練する。
• STGCLをモジュラーかつ即時利用可能なコンponentとして設計し、既存のSTGモデルとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 予測タスクに直接統合されたコントラスト学習は、事前学習フレームワークではなく、STG予測性能を向上させることができるか？
• RQ2 特にグラフ構造、時間、周波数ドメインに焦点を当てた、さまざまな種類のデータ拡張は、STG予測における表現学習にどのように影響するか？
• RQ3 最も意味的に類似したネガティブサンプルを除外することで、STGデータにおけるコントラスト表現の品質が向上するか？
• RQ4 STGCLは、多様なデータセットおよび既存の深層学習モデルにおいて、どの程度一般化可能か？

主な発見

• STGCLは、3つの実世界データセットと4つの最先端STG予測モデルにおいて一貫した性能向上を示し、汎用性を実証した。
• 予測損失とコントラスト学習損失の統合により、事前学習を必要とせず、顕著な性能向上が達成された。
• 提案されたルールベースのネガティブフィルタリング戦略により、類似したサンプルが同じ埋め込み空間に収束するリスクが低減され、表現品質が向上した。
• グラフ、時間、周波数、特徴量ノイズの4種類のドメイン固有のデータ拡張が、ノイズ環境下での耐性および一般化性能の向上に寄与した。
• 異なるデータセットにおいて一貫した改善が得られたことから、強力な転送性と実用的価値を持つプラグインモジュールとしての可能性を示した。
• 実験結果から、標準的なコントラスト学習で得られた表現は、予測タスクにおいて恩恵を受けないことが明らかになった。これにより、STGCLにおける共同最適化の必要性が裏付けられた。