[論文レビュー] Robust Causal Graph Representation Learning against Confounding Effects

Hang Gao, Jiangmeng Li+5 more|arXiv (Cornell University)|Aug 18, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、無条件モーメント制約の下で道具変数を生成することで、グラフ表現学習における交絡要因の影響を排除する、新たな手法であるロバスト因果グラフ表現学習（RCGRL）を提案する。RCGRLは交絡要因を能動的に同定・除去することで、ドメイン内およびドメイン外のグラフベンチマークにおいて予測性能と一般化性能を向上させ、複数のデータセットで最先端の手法を上回る性能を発揮する。

ABSTRACT

The prevailing graph neural network models have achieved significant progress in graph representation learning. However, in this paper, we uncover an ever-overlooked phenomenon: the pre-trained graph representation learning model tested with full graphs underperforms the model tested with well-pruned graphs. This observation reveals that there exist confounders in graphs, which may interfere with the model learning semantic information, and current graph representation learning methods have not eliminated their influence. To tackle this issue, we propose Robust Causal Graph Representation Learning (RCGRL) to learn robust graph representations against confounding effects. RCGRL introduces an active approach to generate instrumental variables under unconditional moment restrictions, which empowers the graph representation learning model to eliminate confounders, thereby capturing discriminative information that is causally related to downstream predictions. We offer theorems and proofs to guarantee the theoretical effectiveness of the proposed approach. Empirically, we conduct extensive experiments on a synthetic dataset and multiple benchmark datasets. The results demonstrate that compared with state-of-the-art methods, RCGRL achieves better prediction performance and generalization ability.

研究の動機と目的

• 微小化されたグラフ上で事前学習されたグラフモデルが性能を発揮しないという見過ごされがちな問題に取り組むこと。これは、グラフ内に交絡的サブ構造が存在することを示している。
• 誤った相関関係を引き起こすグラフの交絡要因の存在を形式化し、モデルの性能と一般化性能の低下を誘発することを明らかにすること。
• 下流の予測と因果的に関連する表現を学習するために、交絡要因を能動的に除去する因果的表現学習フレームワークを開発すること。
• モーメント制約の下での道具変数生成が、グラフデータにおける交絡要因の影響を効果的に排除できることを理論的および実験的に検証すること。

提案手法

• RCGRLは、無条件モーメント制約の下で能動的な道具変数（IV）生成メカニズムを導入し、グラフデータにおける交絡要因の影響を同定・緩和する。
• この手法は、GNNの特定の層（u番目の層）にIVを適用することで、特徴レベルでの交絡要因の除去を実現し、意味的情報を保持しながら誤った相関関係を排除する。
• 表現品質とロバスト性を向上させるために、重み付き損失関数（w）と対照学習目的（ℒₐ）を採用する。
• 因果推論理論に裏打ちされたフレームワークであり、IVに基づく交絡要因除去の有効性を定理と証明を通じて理論的保証する。
• 非因果的サブ構造の特定と削除を可能にするために、グラフ・ガンジア因果推定を用いて交絡要因を同定・測定する。
• RCGRLはGNNバックボーンを用いてエンドツーエンドで学習され、IVの挿入と対照学習を統合することで、OODおよびIDデータセットにおける一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グラフ内の交絡的サブ構造は、グラフニューラルネットワークの性能と一般化性能を低下させるか？
• RQ2 無条件モーメント制約の下で生成された道具変数は、グラフ表現学習における交絡要因を効果的に排除できるか？
• RQ3 GNNアーキテクチャの特定の層にIVを挿入することで、意味的情報を保持しながら誤った相関関係を除去できるか？
• RQ4 RCGRLは、ドメイン外グラフベンチマークにおけるロバスト性の観点で、最先端の手法と比較してどうなるか？
• RQ5 性能を最大化するために、道具変数を挿入する最適な位置（層）はどこか？

主な発見

• RCGRLは、すべてのドメイン内およびドメイン外のグラフベンチマークで、ERM、GAT、Top-k Pool、Group DRO、IRM、DIRを含むすべてのベースラインを上回る性能を発揮する。
• Spurious-Motifデータセットでは、最良のベースライン比で12.3%の精度向上を達成し、分布シフト下でも優れた一般化性能を示している。
• アブレーションスタディの結果、重み係数（w）や対照学習損失（ℒₐ）を除去すると性能が低下することが確認され、これらがロバスト性向上に有効であることが裏付けられた。
• 道具変数をu=2層目に挿入した場合、すべてのデータセットで最良の性能が得られ、交絡要因除去の最適タイミングが特定された。
• 可視化と交絡要因の割合分析から、RCGRLはMol-BACEおよびMol-BBBPで交絡要因の割合を50%以上削減しているが、意味的情報の損失は顕著でないことが確認された。
• Graph-SST2（ID）、Graph-Twitter、Mol-BBBP、Mol-BACEにおいて、ドメイン内およびドメイン外の両設定で最先端の性能を達成し、一貫した性能向上が得られた。