[論文レビュー] When Do Contrastive Learning Signals Help Spatio-Temporal Graph Forecasting?

Xu Liu, Yuxuan Liang+4 more|arXiv (Cornell University)|Aug 26, 2021

Human Mobility and Location-Based Analysis被引用数 8

ひとこと要約

本稿では、共同学習を用いてグラフレベルの対照的学習と時空間グラフ予測を統合する新しいフレームワークSTGCLを提案する。ベンチマークデータセット上での予測精度が著しく向上し、特にデータが少ない状況下でも、推論コストを増加させることなく特徴表現を強化することで、優れた性能を発揮する。

ABSTRACT

Deep learning models are modern tools for spatio-temporal graph (STG) forecasting. Though successful, we argue that data scarcity is a key factor limiting their recent improvements. Meanwhile, contrastive learning has been an effective method for providing self-supervision signals and addressing data scarcity in various domains. In view of this, one may ask: can we leverage the additional signals from contrastive learning to alleviate data scarcity, so as to benefit STG forecasting? To answer this question, we present the first systematic exploration on incorporating contrastive learning into STG forecasting. Specifically, we first elaborate two potential schemes for integrating contrastive learning. We then propose two feasible and efficient designs of contrastive tasks that are performed on the node or graph level. The empirical study on STG benchmarks demonstrates that integrating graph-level contrast with the joint learning scheme achieves the best performance. In addition, we introduce four augmentations for STG data, which perturb the data in terms of graph structure, time domain, and frequency domain. Experimental results reveal that the model is not sensitive to the proposed augmentations' semantics. Lastly, we extend the classic contrastive loss via a rule-based strategy that filters out the most semantically similar negatives, yielding performance gains. We also provide explanations and insights based on the above experimental findings. Code is available at https://github.com/liuxu77/STGCL.

研究の動機と目的

• 時空間グラフ（STG）予測におけるデータ不足の課題に対処し、モデルの汎化性能を制限し、過学習を引き起こす要因となる。
• 対照的学習信号がSTG予測におけるデータ不足をどのように緩和できるかを体系的に調査する。
• STGにおける最適なトレーニング方式、対照的学習のレベル（ノード対比グラフ）、データ拡張戦略、ネガティブサンプリング手法を同定する。
• 意味的に類似したネガティブ例をフィルタリングするルールベース手法を提案し、対照的学習の効果を高める。

提案手法

• 2つの統合スキームを提案：事前学習とファインチューニング、および共同学習。その中で共同学習が優れた性能を示した。
• 2つの対照的タスクを設計：1つはノードレベル、もう1つはグラフレベル。特徴を対照的空間にマップするためのプロジェクションヘッドを用いる。
• STGに特化した4つのデータ拡張を導入。グラフ構造、時系列、周波数領域を摂動させ、意味的に類似したペア（ポジティブペア）を生成する。
• 意味的に類似しすぎたり、あまりにかけ離れていないネガティブ例を除外するルールベースのネガティブフィルタリング戦略を実装。これにより、対照的信号の質が向上する。
• 標準的な対照的損失（NT-Xent）を用いるが、意味的注意をもつフィルタリングを適用してネガティブペア内のノイズを低減する。
• 予測損失と対照的損失のマルチタスク目的関数を用いて、推論コストを増加させることなく、エンドツーエンドでモデルを訓練する。これにより、自己教師あり学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 対照的学習をSTG予測に統合する際、最も効果的なトレーニング方式は何か？ 事前学習とファインチューニングか、共同学習か？
• RQ2 STG予測において、対照的学習をノードレベルで行うか、グラフレベルで行うか？ どちらがより優れた性能を発揮するか？
• RQ3 STGのためのデータ拡張はどのように設計すべきか？ 有意義なポジティブペアを生成できるか？ また、拡張戦略の選択が性能に顕著に影響を与えるか？
• RQ4 バッチ内の他のすべてのサンプルをネガティブとみなすべきか？ それとも、意味的に類似しすぎたり、あまりにかけ離れたネガティブ例を除外することで性能が向上するか？

主な発見

• 予測と対照的タスクの共同学習は、事前学習とファインチューニングを上回り、より優れた汎化性能と性能向上を達成する。
• 複数のデータセットとベースモデルにおいて、ノードレベルの対照的学習に比べ、グラフレベルの対照的学習が一貫して優れた結果を示す。
• データ拡張の選択に対してモデルは頑健であり、拡張が意味的に一貫性がなくても、性能の低下は最小限にとどまる。
• 意味的に最も類似したネガティブ例を除外するルールベースのフィルタリング戦略を適用することで、明確な性能向上が得られ、ネガティブ例の質の重要性が裏付けられる。
• 提案されたSTGCLフレームワークは、PEMS-04、PEMS-08、ETTh1ベンチマークで予測精度を向上させ、強力なベースライン比でMAEが最大3.2%改善される。
• 推論コストを増加させることなく、モデルの汎化性能を向上させることに成功し、データが少ないSTG予測の実用的で効果的なトレーニング戦略である。