[論文レビュー] Handling Distribution Shifts on Graphs: An Invariance Perspective

Qitian Wu, Hengrui Zhang+2 more|arXiv (Cornell University)|Feb 5, 2022

Health, Environment, Cognitive Aging被引用数 30

ひとこと要約

本論文はノードレベルのグラフ予測に対する分布外一般化を定式化し、Explore-to-Extrapolate Risk Minimization (EERM) を導入する。敵対的グラフエディタを用いて不変特徴を強制し、分布移動下での GNN の堅牢性を向上させる。

ABSTRACT

There is increasing evidence suggesting neural networks' sensitivity to distribution shifts, so that research on out-of-distribution (OOD) generalization comes into the spotlight. Nonetheless, current endeavors mostly focus on Euclidean data, and its formulation for graph-structured data is not clear and remains under-explored, given two-fold fundamental challenges: 1) the inter-connection among nodes in one graph, which induces non-IID generation of data points even under the same environment, and 2) the structural information in the input graph, which is also informative for prediction. In this paper, we formulate the OOD problem on graphs and develop a new invariant learning approach, Explore-to-Extrapolate Risk Minimization (EERM), that facilitates graph neural networks to leverage invariance principles for prediction. EERM resorts to multiple context explorers (specified as graph structure editers in our case) that are adversarially trained to maximize the variance of risks from multiple virtual environments. Such a design enables the model to extrapolate from a single observed environment which is the common case for node-level prediction. We prove the validity of our method by theoretically showing its guarantee of a valid OOD solution and further demonstrate its power on various real-world datasets for handling distribution shifts from artificial spurious features, cross-domain transfers and dynamic graph evolution.

研究の動機と目的

• 自己グラフ（ego-graphs）と局所的データ生成を活用して、グラフ上のノードレベルタスクの OOD 問題を定式化する。
• グラフ予測のための安定で不変な特徴を抽出する不変性ベースの学習パラダイムを開発する。
• 敵対的グラフ編集を通じて複数の環境をシミュレートする EERM を提案し、リスクの平均と分散を最小化するようモデルを訓練する。
• 不変性主導の目的と有効な OOD 解、および OOD 誤差の上限を結ぶ理論的保証を提供する。
• さまざまな実世界のグラフデータセットと多様な GNN バックボーン、分布シフトシナリオに対して EERM を実証的に検証する。

提案手法

• ターゲットノードの周囲に ego-graphs G_v を定義してグラフデータを分解し、ノードレベルの OOD を可能にする2段階のサンプリングビューを提供する。
• Assumption 1 (Invariance Property) を提案し、再帰的な BFS 木ベースのリードアウト r_v を用いて不変な予測特徴を捉える。
• 複数の環境にまたがるリスクの平均と分散の加重結合を最小化する EERM 目的を導入する（Eq. 4）。
• K 個の補助的コンテキスト生成器 g_wk(G) を用いて敵対的グラフ編集により K 個のグラフビューを生成する。予測子がそれを最小化する一方で生成器を最大化するよう訓練する（Eq. 5）。
• グラフビューを構築する際のエッジ編集アクションを最適化するために REINFORCE を用い、非微分可能性にもかかわらず学習を実現する。
• 不変表現を最適な OOD 解へ結びつけ、OOD一般化誤差を境界づける理論結果（定理 1–定理 3）を提供する。

実験結果

リサーチクエスチョン

• RQ1 相互に連結されたデータとグラフ構造を考慮して、グラフ上のノードレベルタスクに対して OOD 一般化をどのように定式化できるか。
• RQ2 環境を跨いで安定した予測をもたらすグラフの不変性ベース表現を学習できるか。
• RQ3 敵対的グラフ編集に対する平均-分散リスク最小化を強制することが、未知の環境への外挿を改善するか。
• RQ4 提案された不変学習目的を有効な OOD 解と有界な OOD 誤差に結びつける理論的保証は何か。
• RQ5 多様なデータセットと GNN バックボーンにわたる実験は、分布シフト下で堅牢な改善を示しているか。

主な発見

• 提案手法 EERM は、人工的、ドメイン間、動的グラフのシフト下で、いくつかのデータセットにおいて標準的な経験リスク最小化を一貫して上回る。
• 再帰的 BFS 木集約に基づく不変リードアウトは、環境を跨ぐ安定した予測特徴を捉える。
• K 個のコンテキスト生成器によって生成され、REINFORCE で最適化された敵対的グラフ編集は、堅牢な学習のために複数の環境を効果的にシミュレートする。
• 理論分析により、EERM 目的を最小化することが、学習表現の十分性と不変性を保証し、有効な OOD 解と OOD 誤差の上限の低減につながることが確立される。
• 実証的な結果は、さまざまな分布シフト下で、複数のデータセットと GNN バックボーン（例：GCN、GAT、GraphSAGE、GCNII、GPRGNN）で一般化を改善することを示す。