[論文レビュー] Interventional Sum-Product Networks: Causal Inference with Tractable Probabilistic Models

Matej Zečević, Devendra Singh Dhami+3 more|arXiv (Cornell University)|Feb 20, 2021

Bayesian Modeling and Causal Inference参考文献 44被引用数 10

ひとこと要約

本稿では、神経ネットワークでゲート化されたパrameterizationを通じて、ペアルのdo演算子を直接組み込むことで、ベイジアンネットワークへのコンパイルを経ずに介入分布を学習する、処理可能な確率的モデルである介入的和積ネットワーク（iSPNs）を提案する。この手法は、多様な因果構造および介入タイプにおいて、介入分布推定の分野で最先端の性能を達成し、表現力と因果的適切性の両方を示している。

ABSTRACT

While probabilistic models are an important tool for studying causality, doing so suffers from the intractability of inference. As a step towards tractable causal models, we consider the problem of learning interventional distributions using sum-product networks (SPNs) that are over-parameterized by gate functions, e.g., neural networks. Providing an arbitrarily intervened causal graph as input, effectively subsuming Pearl's do-operator, the gate function predicts the parameters of the SPN. The resulting interventional SPNs are motivated and illustrated by a structural causal model themed around personal health. Our empirical evaluation on three benchmark data sets as well as a synthetic health data set clearly demonstrates that interventional SPNs indeed are both expressive in modelling and flexible in adapting to the interventions.

研究の動機と目的

• 和積ネットワーク（SPNs）の処理可能性を活用することで、従来の確率的モデルにおける因果推論の非処理可能性に対処する。
• SPNからベイジアンネットワークへのコンパイルに起因する因果構造の劣化と、因果的推論における失敗を克服する。
• 学習可能なゲート関数を介してdo演算子に条件付けられたSPNを用いて、介入分布P(Y|do(X))を直接モデル化する手法を開発する。
• 介入効果を因果階層全体に忠実に伝播可能にし、介入の下流影響を捉える。
• iSPNsが任意の介入を再コンパイルなしにモデル化可能であり、表現力と因果的適切性を有することを実証する。

提案手法

• 神経ネットワークをゲート関数として用い、SPNのパrameterをdo演算子に条件付け、介入に応じた動的パラメータ化を可能にする。
• 各介入（例：do(X=x)）をゲートネットワークの入力として符号化し、それに対応するSPNパラメータを出力するようにiSPNを構築する。
• SPN構造が因果グラフのトポロジーを保持するように設計し、介入効果が変数の階層的構造を介して伝播可能にする。
• 観測データおよび介入データ上で最大尤度推定を用いて、モデルをエンドツーエンドに訓練し、介入分布の対数尤度を最適化する。
• 神経ネットワークの普遍近似性を活用して、複雑な非線形介入分布をモデル化しつつ、SPNの処理可能性を維持する。
• 交絡要因や非自明な因果的依存関係を有する、現実的で高影響度の分野（個人の健康をテーマにした構造的因果モデル）で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 処理可能な確率的モデル（例：SPNs）は、ベイジアンネットワークへのコンパイルを経ずに、直接的に介入分布をモデル化可能か？
• RQ2 神経ネットワークでゲート化されたSPNアーキテクチャは、因果階層における下流影響を含む、あらゆる種類の介入効果を効果的に捉えることができるか？
• RQ3 iSPNsの性能は、多様なデータ分布における介入分布のフィッティングにおいて、強力な生成モデル（例：MDN, MADE）と比較してどうなるか？
• RQ4 iSPNsは、標準的な回帰ベースの手法が失敗するような複雑な因果的状況（例：交絡、シンプソンのパラドックス）を処理できるか？
• RQ5 iSPNsは、再トレーニングなしに、連続的・離散的・原子的・非連続的など、さまざまなタイプの介入に対してどれほど一般化可能か？

主な発見

• iSPNsは4つのベンチマークデータセットにおいて、MDN や MADE よりも高い適合精度と適応性を示し、介入分布の推定がほぼ完璧に近い結果を得た。
• 交絡状況やシンプソンのパラドックスにおいても、因果推論ベースライン（CausalML, DoWhy）と同等またはそれを上回る性能を示し、因果効果の推定において優れた性能を発揮した。
• iSPNsのトレーニング時間は、競合手法と比較して顕著に短く、50回以上のデータパスにおける平均実行時間も顕著に低かった。
• 一様分布およびガンマ分布に従う介入を含む多様な介入タイプを効果的にモデル化でき、介入分布の分布にわたるロバストネスと一般化能力を示した。
• ASIAデータセットおよび個人の健康因果モデルの両方で、介入効果が因果階層全体に忠実に伝播していることが検証された。
• 補足資料における解析的導出により、合成設定においてiSPNsが真のATE（平均処置効果）を正しく回復することが確認され、因果的正しさが裏付けられた。