[論文レビュー] Does Invariant Graph Learning via Environment Augmentation Learn Invariance?

Yongqiang Chen, Yatao Bian+4 more|arXiv (Cornell University)|Oct 29, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、真の環境ラベルの必要性を回避するため、正しくおよび誤って予測されたグラフに対する対照学習を用いて不変部分グラフを同定するプロキシ環境アシスタントモデルを用いる、不変グラフ表現学習のための新規フレームワークGALAを提案する。変動の十分性と一貫性という最小限の仮定の下、GALAは不変部分グラフを厳密に同定でき、DrugOODを含む12のデータセットにおいて最先端のOOD一般化性能を達成し、競争力ある学習効率を実現する。

ABSTRACT

Invariant graph representation learning aims to learn the invariance among data from different environments for out-of-distribution generalization on graphs. As the graph environment partitions are usually expensive to obtain, augmenting the environment information has become the de facto approach. However, the usefulness of the augmented environment information has never been verified. In this work, we find that it is fundamentally impossible to learn invariant graph representations via environment augmentation without additional assumptions. Therefore, we develop a set of minimal assumptions, including variation sufficiency and variation consistency, for feasible invariant graph learning. We then propose a new framework Graph invAriant Learning Assistant (GALA). GALA incorporates an assistant model that needs to be sensitive to graph environment changes or distribution shifts. The correctness of the proxy predictions by the assistant model hence can differentiate the variations in spurious subgraphs. We show that extracting the maximally invariant subgraph to the proxy predictions provably identifies the underlying invariant subgraph for successful OOD generalization under the established minimal assumptions. Extensive experiments on datasets including DrugOOD with various graph distribution shifts confirm the effectiveness of GALA.

研究の動機と目的

• 環境ラベルの真の値が与えられていない状況でも、グラフ表現学習における環境拡張が真に不変性を学習できるかを調査すること。
• 既存の環境拡張手法が誤った部分グラフの変動を捉える上で有する根本的な限界を特定すること。
• 環境ラベルが利用できない状況下で不変グラフ学習が可能となる最小限の仮定——変動の十分性と変動の一貫性——を確立すること。
• 予測の正しさに基づく対照学習を用いて、プロキシ環境アシスタントを介して最大限に不変な部分グラフを抽出するGALAというフレームワークを提案すること。
• 12種類の多様なグラフデータセット（さまざまな分布シフトを含む）において、GALAの有効性と効率性を検証すること。

提案手法

• GALAは、経験的リスク最小化（ERM）により訓練された環境アシスタントモデルを導入し、グラフラベルを予測する。この予測結果が環境の変動を代理するものとして機能する。
• フレームワークは、アシスタントモデルの出力に基づき、正しく予測された（正例）と誤って予測された（負例）の2つのグラフ集合に訓練データを分離する。
• 同じラベルを持つが予測の正誤が異なるグラフ同士を引き寄せる一方向の対照損失を適用することで、最大限に不変な部分グラフを学習する。
• モデルが正しく予測されたグループと誤って予測されたグループの両方で一貫した部分グラフに注目するよう促すことで、不変性を確保する。
• データの特性に応じて、環境アシスタントはERMモデルまたはクラスタリングに基づくプロキシ予測を用いる解釈可能なGNNとして実装可能である。
• GALAは、対照正則化を適用する前に主なGNNを10エポック分ERMで事前学習し、必要に応じてアップサンプリングによるクラスバランスを保つ。

Figure 1: An illustration of GALA with the task of classifying graphs according to whether there exists a “House” or “Cycle” motif. Given the training data where the “House” subgraph often co-occurs with a “Grid” and the “Cycle” subgraph often co-occurs with a “Hexagon”. An ERM trained environment a

実験結果

リサーチクエスチョン

• RQ1 真の環境ラベルが与えられていない状況でも、環境拡張を用いた不変グラフ表現学習が可能か？
• RQ2 現在の環境拡張アプローチには、グラフOOD一般化において、どのような根本的な限界があるか？
• RQ3 環境ラベルが利用できない状況で、不変グラフ学習が可能となる最小限の仮定は何か？
• RQ4 環境ラベルが存在しない状況で、プロキシモデルの予測結果をどのようにして真の不変部分グラフを同定するのに活用できるか？
• RQ5 GALAは、既存手法を上回るOOD一般化性能を示すとともに、競争力ある学習効率を維持できるか？

主な発見

• GALAは、DrugOODを含む12種類の多様なグラフデータセットで最先端の性能を達成し、CIGA、GREA、DisCといったベースライン手法に対して一貫した改善を示した。
• GALAは、CIGAと比べてわずかに増加するにとどまり、DisC や GIL よりもはるかに少ないオーバーヘッドを伴う、競争力ある学習時間を維持した。
• 平均して、GALはGIL や DisC よりも15〜25％の学習時間を短縮した。これらは早期停止を適用しても収束が遅いことが判明した。
• DrugOODデータセットでは、クラスタリングに基づくプロキシ予測がERMベースの予測よりも実験的に優れた性能を示した。
• 理論的分析により、変動の十分性と一貫性の仮定のもとで、GALAが根本的に不変部分グラフを同定できることを確認した。
• 広範なアブレーション実験により、環境アシスタントの予測の正確性が不変構造を同定する上で極めて重要であり、フレームワークのコア設計原理を裏付けた。

(a) Correlation strengths