[論文レビュー] Learning from Counterfactual Links for Link Prediction

Tong Zhao, Gang Liu+3 more|arXiv (Cornell University)|Jun 3, 2021

Advanced Graph Neural Networks被引用数 14

ひとこと要約

本稿では、因果推論を用いて反事後的リンクを生成することでリンク予測を向上させる、新しいグラフ学習手法である反事後的リンク予測（CFLP）を提案する。グローバルなグラフ構造（例：コミュニティ所属）を処置とし、リンクの存在を結果と見なすことにより、異なる構造的条件下での類似ノードペアを同定し、それを拡張された訓練データとして用いる。この手法により、ベンチマークデータセット上で最先端の性能を達成した。

ABSTRACT

Learning to predict missing links is important for many graph-based applications. Existing methods were designed to learn the association between observed graph structure and existence of link between a pair of nodes. However, the causal relationship between the two variables was largely ignored for learning to predict links on a graph. In this work, we visit this factor by asking a counterfactual question: "would the link still exist if the graph structure became different from observation?" Its answer, counterfactual links, will be able to augment the graph data for representation learning. To create these links, we employ causal models that consider the information (i.e., learned representations) of node pairs as context, global graph structural properties as treatment, and link existence as outcome. We propose a novel data augmentation-based link prediction method that creates counterfactual links and learns representations from both the observed and counterfactual links. Experiments on benchmark data show that our graph learning method achieves state-of-the-art performance on the task of link prediction.

研究の動機と目的

• 既存のリンク予測手法が観測された関連性にのみ依存し、グラフ構造とリンク存在の間の因果関係を無視するという限界を是正すること。
• グラフ表現学習に反事後的推論を組み込むことで、リンク予測の一般化性能を向上させること。
• 因果推論に基づくデータ拡張戦略を開発し、観測されていないが妥当なリンク状況を訓練データに豊かめること。
• 反事後的リンクから個々の処置効果（ITE）を学習することで、標準的なGNNベースの手法よりもリンク予測性能が向上するかどうかを検証すること。

提案手法

• 『グラフ構造が異なっていたらリンクはまだ存在するだろうか？』という反事後的問いを定義し、観測された関連性を超えた因果要因を同定する。
• ノードペア表現を文脈とし、グローバルな構造的特性（例：スペクトルクラスタリングによるコミュニティ割り当て）を処置とし、リンク存在を結果とする。
• 各観測されたノードペアに対して、異なる処置（例：異なるコミュニティ）を持つ最も類似したノードペアを特定し、反事後的リンクを形成する。
• 反事後的リンクの結果（エッジの有無）を、未観測だが有用な信号として扱う。
• GNNベースのリンク予測器を訓練し、事実的リンクと反事後的リンクの両方を同時に予測させ、個々の処置効果を捉える表現を学習する。
• 推定された個々の処置効果（ITE）を信号として用い、構造的類似性を超えた要因に焦点を当てる表現学習を促進する。

実験結果

リサーチクエスチョン

• RQ1 観測された関連性からの学習を超えて、反事後的推論がリンク予測を改善できるか？
• RQ2 グラフ構造データにおいて、因果モデリングを用いて反事後的リンクを体系的に生成する方法は何か？
• RQ3 反事後的リンクを拡張された訓練データとして組み込むことで、リンク予測タスクにおける一般化性能が向上するか？
• RQ4 反事後的リンクから得られる個々の処置効果（ITE）を学習することで、標準的なGNNと比較してモデル性能がどの程度向上するか？
• RQ5 コミュニティ構造に基づくシンプルな因果モデルは、リンク予測精度を顕著に向上させることができるか？

主な発見

• CFLPは、反事後的リンクを拡張された訓練データとして活用することで、複数のベンチマークリンク予測データセットで最先端の性能を達成した。
• 構造的交絡要因に強く、構造的類似性を超えた因果要因に焦点を当てる表現を学習することで、一般化性能が向上した。
• 反事後的リンクは、偽の相関から真のリンク形成要因を分離するのに役立つ意味のある監視信号を提供した。
• 事実的リンクと反事後的リンクの共同学習により、モデルは個々の処置効果（ITE）を推定でき、予測精度が向上した。
• 実験の結果、CFLPは構造的類似性が誤解を招く要因となる状況において、標準的なGNNベースのリンク予測手法を上回った。
• コミュニティベースの処置を用いることで、複雑な因果モデリングを必要とせず、効果的かつスケーラブルに反事後的リンクを生成できた。