[論文レビュー] Modeling Causal Mechanisms with Diffusion Models for Interventional and Counterfactual Queries

Patrick Chao, Patrick Blöbaum+2 more|arXiv (Cornell University)|Feb 2, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

この論文は、観測データと既知の因果グラフから構造的因果モデルを学習するためにノイズ除去拡散モデルを活用する、新しいフレームワークである拡散ベース因果モデル（DCM）を紹介する。各ノードの構造方程式を、外生ノイズの代理としての潜在符号を用いた拡散プロセスとしてモデル化することで、介入や反事後的推論において正確なサンプリングが可能となり、非加法的ノイズモデルにおいては最先端の手法を最大1桁の性能向上で上回る。

ABSTRACT

We consider the problem of answering observational, interventional, and counterfactual queries in a causally sufficient setting where only observational data and the causal graph are available. Utilizing the recent developments in diffusion models, we introduce diffusion-based causal models (DCM) to learn causal mechanisms, that generate unique latent encodings. These encodings enable us to directly sample under interventions and perform abduction for counterfactuals. Diffusion models are a natural fit here, since they can encode each node to a latent representation that acts as a proxy for exogenous noise. Our empirical evaluations demonstrate significant improvements over existing state-of-the-art methods for answering causal queries. Furthermore, we provide theoretical results that offer a methodology for analyzing counterfactual estimation in general encoder-decoder models, which could be useful in settings beyond our proposed approach.

研究の動機と目的

• 観測データと因果グラフのみを用いて、構造的因果モデルにおける観測的・介入的・反事後的質問に柔軟かつスケーラブルに対応するフレームワークの開発。
• 潜在コードを未観測の外生ノイズの代理として扱うことで、拡散モデルの表現力を利用し、因果メカニズムを学習すること。
• 決定的で自己符号化器風の拡散プロセス（DDIM）を用いることで、介入と反事後的推論の両者を統一的に扱う手法の提供。
• エンコーダ・デコーダモデルにおける反事後的推定の正確性を理論的に分析し、拡散モデルに限らない一般化可能な境界を提示すること。
• 多様な構造方程式タイプと実世界のデータにおいて、DCMが既存の最先端手法を上回ることを経験的に検証すること。

提案手法

• 因果グラフ内の各ノードを、親ノードの値を入力として受け取り、観測値を潜在空間に符号化し、変数空間に再構成する条件付き拡散モデルとしてモデル化する。
• Denoising Diffusion Implicit Models（DDIM）を基盤とする拡散アーキテクチャを用い、学習された逆過程により決定的サンプリングと効率的な推論を実現する。
• 各ノードの拡散モデルが親ノードの値に条件付けられるように、トポロジカル順序でDCMを学習することで、構造方程式モデル（SCM）の生成プロセスを模倣する。
• 介入的質問に対しては、介入された変数の値を固定し、対応する拡散モデルからサンプリングすることでdo介入を適用する。
• 反事後的質問に対しては、観測された結果を潜在空間に符号化する「引き当て（abduction）」を実行し、次に潜在空間での操作（介入）と再構成（予測）のステップを実行する。
• 潜在表現を外生ノイズの代理として活用することで、複雑な非パラメトリックな構造方程式をモデルが捉えることが可能になる。

Figure 1 : Left: Nonlinear setting (NLIN), Right: Nonadditive setting (NADD). Box plots of observational, interventional, and counterfactual queries of the ladder and random SCMs over $20$ random initializations of the model and training data.

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、観測データと因果グラフを用いて、因果的メカニズムを効果的に学習し、因果的推論の3種類すべて（観測的・介入的・反事後的）をサポートできるか？
• RQ2 DCMの性能は、特に非加法的ノイズ下において、既存の最先端手法と比較して、介入的および反事後的推論でどの程度優れているか？
• RQ3 エンコーダ・デコーダモデル（DCMを含む）における反事後的推定に対して、どのような理論的保証を提示できるか？
• RQ4 DCMは、fMRIデータのような複雑な非線形依存関係を示す実世界データにも一般化可能か？
• RQ5 DCMの潜在空間は、外生ノイズの有効な代理として機能し、正確な引き当てと反事後的推論を可能にするか？

主な発見

• 非加法的ノイズモデルにおける介入的および反事後的推論において、DCMは既存の最先端手法を最大1桁の性能向上で上回り、NADD設定のYグラフでは10.42 ± 2.77のMSEを達成した。
• 半合成Sachsデータセットでは、NLIN設定でDCMが反事後的MSE 0.72 ± 0.19 × 10⁻²を達成し、VACA（17.71 ± 9.23 × 10⁻²）とCAREFL（7.30 ± 0.95 × 10⁻²）を著しく上回った。
• SachsデータセットのNADD設定では、DCMが反事後的MSE 1.99 ± 2.49 × 10⁻²を達成し、VACA（7.30 ± 11.57 × 10⁻²）とCAREFL（8.30 ± 8.34 × 10⁻²）を上回った。
• NLIN設定のLadderグラフでは、DCMが観測的MMD 0.16 ± 0.11を達成し、分布の忠実性が非常に高いことを示した。
• 理論的分析により、DCMにおける反事後的推定誤差は妥当な仮定の下で境界づけられ、他のエンコーダ・デコーダモデルにも一般化可能なフレームワークを提供した。
• 多様な構造方程式タイプ（線形、非線形、非加法的）を有する合成データセットにおける経験的評価では、テストしたすべてのグラフ構造において、DCMが介入的および反事後的推論において一貫して優れた性能を示した。