[論文レビュー] Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift

Yongduo Sui, Wu, Qitian+6 more|arXiv (Cornell University)|Nov 5, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、分布的頑健性に基づく理論的基盤を有する、変動する分布への一般化性能が優れた、グラフ表現学習における共変量シフトに耐性を持つ、新たなグラフデータ拡張手法であるAdversarial Invariant Augmentation (AIA) を提案する。AIA は、安定的特徴と環境的特徴を明示的にモデル化することで、共変量シフトに耐性を持つ。安定的特徴を保持しながら、多様な環境を敵対的に生成することで、分布外一般化性能が向上し、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

The issue of distribution shifts is emerging as a critical concern in graph representation learning. From the perspective of invariant learning and stable learning, a recently well-established paradigm for out-of-distribution generalization, stable features of the graph are assumed to causally determine labels, while environmental features tend to be unstable and can lead to the two primary types of distribution shifts. The correlation shift is often caused by the spurious correlation between environmental features and labels that differs between the training and test data; the covariate shift often stems from the presence of new environmental features in test data. However, most strategies, such as invariant learning or graph augmentation, typically struggle with limited training environments or perturbed stable features, thus exposing limitations in handling the problem of covariate shift. To address this challenge, we propose a simple-yet-effective data augmentation strategy, Adversarial Invariant Augmentation (AIA), to handle the covariate shift on graphs. Specifically, given the training data, AIA aims to extrapolate and generate new environments, while concurrently preserving the original stable features during the augmentation process. Such a design equips the graph classification model with an enhanced capability to identify stable features in new environments, thereby effectively tackling the covariate shift in data. Extensive experiments with in-depth empirical analysis demonstrate the superiority of our approach. The implementation codes are publicly available at https://github.com/yongduosui/AIA.

研究の動機と目的

• 訓練データに存在しないがテストデータに現れる未知の環境的特徴を伴う共変量シフトの問題に、グラフ表現学習分野で未だ十分に検討されていないという点に取り組む。
• グラフデータにおける安定的特徴と環境的特徴を明示的に分離・モデル化するデータ拡張戦略を開発する。
• 多様で制御可能かつ環境的に異なる拡張環境を生成することで、分布外一般化性能を向上させる。
• 環境的特徴の差異を測定可能な指標を提供し、それを拡張プロセスの指針とする。
• 分布の変化に対して安定した性能を発揮するように、理論的頑健半径 ρ 内で一般化を保証する。

提案手法

• AIA は二重マスクアーキテクチャを採用する：一方のマスクが安定的特徴を特定し、もう一方が環境的特徴を分離する。
• 敵対的拡張器を用いて、安定的特徴を一貫性損失によって保持しながら、環境的特徴を摂動させることで新たな環境を生成する。
• 拡張済み分布と元の分布の間の環境的特徴差異を明示的に測定・促進するため、新規に提案された指標 GCS(𝑃̃,𝑃) を最大化する。
• 安定的特徴の一貫性は、十分性と独立性損失によって強制され、モデルが予測に安定的特徴に依存することを保証する。
• 訓練フレームワークは、敵対的拡張器と GNN バックボーンの最適化を、分布的頑健最適化 (DRO) 原理に従って交互に実行する。
• AIA は DRO に理論的基盤を置き、IRMs に基づく手法とは異なり、未知のテスト環境を想定しても、頑健半径 ρ 内で一般化を保証する。

実験結果

リサーチクエスチョン

• RQ1 安定的特徴と環境的特徴を明示的に分離することで、グラフデータにおける共変量シフト下での一般化性能が向上するか？
• RQ2 安定的特徴を保持しながら、多様で未知の環境的特徴を有するデータ拡張をどのように設計できるか？
• RQ3 環境的特徴差異を測定可能な指標を導入することで、グラフ拡張の有効性が向上するか？
• RQ4 安定的特徴の保持を伴う敵対的拡張は、既存手法に比べてより優れた分布外一般化性能を達成するか？
• RQ5 DRO を用いた訓練目的は、共変量シフト下で定義された分布的半径内での頑健性を保証できるか？

主な発見

• AIA は、共変量シフト下の複数のグラフ分類ベンチマークで、既存の不変学習法およびデータ拡張法を上回る最先端の性能を達成する。
• 提案された GCS(𝑃̃,𝑃) 指標は、環境的特徴差異を効果的に測定でき、一般化性能の向上と相関していることが確認された。
• アブレーションスタディの結果、安定的特徴の保持と環境的変動の明示的モデル化が、頑健性にとって不可欠であることが判明した。
• AIA は、訓練時に観測されなかった完全に新しい環境的特徴を含むテストデータに対しても、優れた一般化性能を示した。
• 分子グラフやレコメンデーションシステムを含む多様なデータセットにおいて、制御された共変量シフト設定下で一貫した性能向上が得られた。
• 訓練プロセスはより複雑であるが、低分散の安定した性能を示しており、二重目的の効果的な最適化が達成されていることが示された。