[論文レビュー] Relating Graph Neural Networks to Structural Causal Models

Matej Zečević, Devendra Singh Dhami+2 more|arXiv (Cornell University)|Sep 9, 2021

Bayesian Modeling and Causal Inference被引用数 17

ひとこと要約

本稿は、グラフニューラルネットワーク（GNNs）と構造的因果モデル（SCMs）を理論的に結びつける基盤を確立し、グラフ構造データ上の自己符号化を用いた因果効果同定を可能にする、新規なニューラル因果モデルクラスiVGAEを提案する。このモデルが因果効果同定に対して必要かつ十分であることを証明しており、ベンチマーク上での実証的検証により、介入的密度推定および因果推論タスクで堅牢な性能を示している。

ABSTRACT

Causality can be described in terms of a structural causal model (SCM) that carries information on the variables of interest and their mechanistic relations. For most processes of interest the underlying SCM will only be partially observable, thus causal inference tries leveraging the exposed. Graph neural networks (GNN) as universal approximators on structured input pose a viable candidate for causal learning, suggesting a tighter integration with SCM. To this effect we present a theoretical analysis from first principles that establishes a more general view on neural-causal models, revealing several novel connections between GNN and SCM. We establish a new model class for GNN-based causal inference that is necessary and sufficient for causal effect identification. Our empirical illustration on simulations and standard benchmarks validate our theoretical proofs.

研究の動機と目的

• グラフニューラルネットワーク（GNNs）と構造的因果モデル（SCMs）を、第一原理から正式に理論的につなぐこと。
• グラフ構造データ上で因果効果同定を可能にする、洗練されたニューラル因果モデル（NCMs）のクラスを定義すること。
• 自己符号化メカニズムを用いてGNN内での干渉を形式化し、エンドツーエンドの因果推論を可能にすること。
• 提案されたモデルクラスの妥当性、表現力、同定可能性といった理論的性質を証明すること。
• 因果効果同定および密度推定のためのシミュレーションおよび標準ベンチマーク上でのモデルの実証的検証を行うこと。

提案手法

• do計算法の干渉を潜在空間の操作によってモデル化することで、構造的因果モデリングとGNNsを統合した、干渉に強い変分グラフ自己符号化器（iVGAE）を提案する。
• φ(di, ∑j∈NGi ψ(di, dj))で定義される一般化されたメッセージパッシングGNNレイヤーを導入し、置換同変性と近傍集約を実現する。
• 変分推論を用い、KLダイバージェンスの最小化により、p(Z|X)の事後分布を近似し、エビデンス下界（ELBO）最適化によるエンドツーエンド学習を可能にする。
• GNNフレームワーク内にdo作用素を適用し、干渉を潜在変数上の条件付き分布として扱うことにより、干渉のシミュレーションを実現する。
• 2段階の訓練プロセスを採用：まず観測データで事前学習を行い、次に共有パラメータを用いて干渉データでファインチューニングする。
• 密度推定の品質とモデル収束性を評価するために、ELBOおよび対数尤度を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、どのようにして因果推論を支援する構造的因果モデルと正式に結びつけられるか？
• RQ2 GNNベースのモデルが因果効果同定を達成するための、最小限のアーキテクチャ的およびインダクティブバイアス要件は何か？
• RQ3 複数の干渉分布を学習する際、学習期間およびモデル容量がモデル性能に与える影響はいかほどか？
• RQ4 ハイパーパramータチューニングが、干渉分布の正確な推定能力に与える影響はどの程度か？
• RQ5 固定容量で増加する数の干渉分布から学習する際、モデルのスケーリング特性はどのように変化するか？

主な発見

• iVGAEモデルは、干渉分布の正確な推定を達成しており、12,000ステップの学習後、Earthquakeデータセットでテスト対数尤度が-1.49に達し、優れた密度近似能力を示している。
• より長い学習が進むにつれて性能が著しく向上し、'tub' や 'lung' といったノードでは、収束に伴い過小評価から正確な適合に移行していることから、学習期間がモデル品質に与える影響が確認された。
• モデル容量を一定に保った状態で、干渉分布の数を2つから4つに増加させた場合、対数尤度性能に顕著な劣化が生じ、ASIAデータセットではテスト対数尤度が-4.10から-3.79に低下した。
• ハイパーパramータチューニング（学習率、プーリングタイプ、深さなど）により、顕著な性能向上が得られ、Earthquakeデータセットでは最良のテストELBOがチューニング前は-1.91から-1.37に向上した。
• ランダムシードごとのELBOに著しいばらつきが見られ、最悪ケースのテストELBOが最良ケースと著しく乖離していることから、初期化および最適化ダイナミクスに敏感であることが示された。
• 検証性能とテスト性能が密接に一致しており、モデルが良好に一般化しており、標準的な訓練環境下では過学習が顕著な問題ではないことが確認された。