[論文レビュー] Debiasing Graph Neural Networks via Learning Disentangled Causal Substructure

Shaohua Fan, Xiao Wang+3 more|arXiv (Cornell University)|Sep 28, 2022

Advanced Graph Neural Networks被引用数 38

ひとこと要約

DisCを提案する、学習可能なエッジマスクを介してグラフを因果サブグラフと偏りサブグラフに分割する分離型GNNフレームワーク。各サブグラフ上で偏り認識と因果の損失を用いて別々のGNNを訓練し、極端な偏りのもとで一般化を改善するために反事実のバイアスなしサンプルを生成する。

ABSTRACT

Most Graph Neural Networks (GNNs) predict the labels of unseen graphs by learning the correlation between the input graphs and labels. However, by presenting a graph classification investigation on the training graphs with severe bias, surprisingly, we discover that GNNs always tend to explore the spurious correlations to make decision, even if the causal correlation always exists. This implies that existing GNNs trained on such biased datasets will suffer from poor generalization capability. By analyzing this problem in a causal view, we find that disentangling and decorrelating the causal and bias latent variables from the biased graphs are both crucial for debiasing. Inspiring by this, we propose a general disentangled GNN framework to learn the causal substructure and bias substructure, respectively. Particularly, we design a parameterized edge mask generator to explicitly split the input graph into causal and bias subgraphs. Then two GNN modules supervised by causal/bias-aware loss functions respectively are trained to encode causal and bias subgraphs into their corresponding representations. With the disentangled representations, we synthesize the counterfactual unbiased training samples to further decorrelate causal and bias variables. Moreover, to better benchmark the severe bias problem, we construct three new graph datasets, which have controllable bias degrees and are easier to visualize and explain. Experimental results well demonstrate that our approach achieves superior generalization performance over existing baselines. Furthermore, owing to the learned edge mask, the proposed model has appealing interpretability and transferability. Code and data are available at: https://github.com/googlebaba/DisC.

研究の動機と目的

• 因果的観点から、GNNを用いたグラフ分類における深刻なバイアスの影響を動機づけ、分析する。
• グラフ内の因果サブ構造と偏りサブ構造を分離するフレームワークを開発する。
• グローバルなエッジマスクを学習し、グラフを因果サブグラフと偏りサブグラフに分割する。
• 各サブグラフ上で、偏り対応の損失と因果損失を用いて専用のGNNモジュールを訓練する。
• 因果と偏りの信号をデコレラートするために反事実のバイアスなし表現を生成する。

提案手法

• エッジレベルの確率を割り当てて因果サブグラフと偏りサブグラフを形成する、パラメータ化されたエッジマスク生成器を導入する。
• マスクされたサブグラフ上で2つのGNNを訓練する。因果GNNと偏りGNNで、それぞれ対応する損失関数（因果損失と一般化クロスエントロピーバイ損失）を用いる。
• 偏り志向の損失（一般化クロスエントロピー）を用いて偏りサブ構造の学習を増幅し、因果分枝の因果性を強調するために重み付きクロスエントロピーを用いる。
• グラフを再重み付けするためのバイアスなしスコアを計算し、選択的に重み付けされた損失で因果分岐を訓練する。
• グラフ間で偏り表現を置換し対応するラベルを入れ替えることで反事実のバイアスなしサンプルを生成し、これらのサンプルを含む結合損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 深刻なバイアスはグラフ分類におけるGNNの一般化にどのような影響を与えるか？
• RQ2 集団規模で、偏ったグラフから因果サブ構造と偏りサブ構造を分離できるか？
• RQ3 因果と偏りの要因をデコレラートし、一般化を改善するために反事実のバイアスなしサンプルを生成できるか？
• RQ4 グローバルなエッジマスクがグラフ集団全体で因果サブグラフと偏りサブグラフを識別する有効性はどれほどか？
• RQ5 DisCフレームワークは複数の基本GNNアーキテクチャで一般化を向上させるか？

主な発見

• DisCは複数の偏り程度にわたる3つの偏りグラフデータセットで、基礎GNNより著しく一般化を改善する。
• DisCはDIRやStableGNNなどの既存のデバイアス除去手法を一貫して上回り、特により大きな偏りの下で優れる。
• エッジマスキングは解釈可能なサブグラフを生み出し、因果サブグラフは真の識別構造と一致し、偏りサブグラフは偽りのパターンと一致する。
• 反事実埋め込みの生成は因果要因と偏り要因の相関をなくし、因果信号が予測を支配するようにする。
• 分離表現は潜在空間で因果要因と偏り因子によるクラスタリングを示し、解釈性と移植性を支持する。