[論文レビュー] Deep End-to-end Causal Inference

Tomas Geffner, Javier Antorán+10 more|arXiv (Cornell University)|Feb 4, 2022

Advanced Causal Inference Techniques被引用数 16

ひとこと要約

DECI は、観測データを用いて因果発見と処置効果推定を統合的に実行する、深層学習に基づくエンドツーエンドの因果推論フレームワークである。流れベースの非線形加法的ノイズモデルと、因果グラフにおける変分推論を採用し、多様な合成データおよびベンチマークデータセットにおいて、因果グラフ回復および条件付き平均処置効果（CATE）推定の両面で最先端の性能を達成している。また、欠損データや混合変数タイプに対しても強いスケーラビリティと耐性を示している。

ABSTRACT

Causal inference is essential for data-driven decision making across domains such as business engagement, medical treatment and policy making. However, research on causal discovery has evolved separately from inference methods, preventing straight-forward combination of methods from both fields. In this work, we develop Deep End-to-end Causal Inference (DECI), a single flow-based non-linear additive noise model that takes in observational data and can perform both causal discovery and inference, including conditional average treatment effect (CATE) estimation. We provide a theoretical guarantee that DECI can recover the ground truth causal graph under standard causal discovery assumptions. Motivated by application impact, we extend this model to heterogeneous, mixed-type data with missing values, allowing for both continuous and discrete treatment decisions. Our results show the competitive performance of DECI when compared to relevant baselines for both causal discovery and (C)ATE estimation in over a thousand experiments on both synthetic datasets and causal machine learning benchmarks across data-types and levels of missingness.

研究の動機と目的

• 因果発見と因果推論の間のギャップを埋めるために、両タスクを統合した単一のエンドツーエンドフレームワークを提供すること。
• 標準的な因果仮定の下で真の因果グラフを回復し、処置効果を推定できる深層学習モデルの開発。
• 実世界の複雑さ、例えば混合型変数や欠損データを扱えるようにフレームワークを拡張すること。
• 正しいモデル仕様のもとで因果グラフ回復に関する理論的保証を提供すること。
• 因果発見および処置効果推定の両面で、最先端のベースラインと比較してDECIの性能を実証的に評価すること。

提案手法

• DECI は、連続的かつ非ガウス的ノイズ分布を伴う非線形加法的ノイズ構造方程式モデル（SEMs）を、流れベースの自己回帰的ニューラルネットワークでモデル化する。
• 因果グラフ上の事後分布を学習するために変分推論を適用し、観測データ上でエンドツーエンドの学習を可能にする。
• 適切な分布モデル化を用いて、混合型（連続およびカテゴリカル）変数を組み込むことで、異種データをサポートする。
• 流れモデル内での尤度に基づくアプローチを用いて、欠損データの補完をフレームワークに統合する。
• 学習されたSEMに対してdo計算の干渉を適用することで、CATEなどの因果量を推定し、シミュレーションベースの推論を可能にする。
• 重み付き隣接行列を用いて因果グラフの事前分布を組み込むことで、同定不能または識別が難しい状況での性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、観測データから因果発見と処置効果推定を同時に実行できるか？
• RQ2 DECI は、標準的な仮定のもとで真の因果グラフを理論的に一貫して回復できるか？
• RQ3 合成データおよび実世界のベンチマークにおいて、DECI は因果発見と推論の分離パイプラインと比較してどの程度優れているか？
• RQ4 因果グラフの事前分布は、同定不能または曖昧な状況での因果発見および推論をどの程度向上できるか？
• RQ5 DECI は、グラフサイズの増加および欠損データの割合の上昇に伴って、どの程度スケーラブルか？

主な発見

• DECI は因果発見において競争力のある性能を示し、1,000件を超える合成およびベンチマーク実験において、最先端の手法を上回るか同等の結果を達成した。
• DECI は評価された手法の中で最も短い実行時間であり、グラフサイズにかかわらずほぼ一定の推論時間を維持しており、優れたスケーラビリティを示している。
• 同定不能な状況では、PCベースのCP-DAGを事前分布として用いることで、因果グラフ回復が著しく向上したが、必ずしもATE推定の向上に直結しなかった。
• 同定可能ではあるが困難な状況では、0.5のバランスの取れた事前分布強度（PCとDECIの組み合わせ）が最も信頼性のある発見を可能にし、事前分布強度がたった0.2でも完全なATE推定が可能となった。
• DECI は混合型変数および欠損データを効果的に処理でき、多様なデータ構成においても高い性能を維持した。
• 理論的分析により、正しいモデル仕様のもとで、DECI は漸近的に真の因果グラフおよびデータ生成過程を回復することが確認された。