[论文解读] Deep End-to-end Causal Inference

Tomas Geffner, Javier Antorán+10 more|arXiv (Cornell University)|Feb 4, 2022

Advanced Causal Inference Techniques被引用 16

一句话总结

DECI 是一种基于深度学习的端到端因果推断框架，通过观测数据联合执行因果发现与处理效应估计。它采用基于流的非线性可加噪声模型，并在因果图上应用变分推断，实现了在多种合成数据集和基准数据集上因果图恢复与条件平均处理效应（CATE）估计的最先进性能，具备出色的可扩展性及对缺失数据和混合变量类型的良好鲁棒性。

ABSTRACT

Causal inference is essential for data-driven decision making across domains such as business engagement, medical treatment and policy making. However, research on causal discovery has evolved separately from inference methods, preventing straight-forward combination of methods from both fields. In this work, we develop Deep End-to-end Causal Inference (DECI), a single flow-based non-linear additive noise model that takes in observational data and can perform both causal discovery and inference, including conditional average treatment effect (CATE) estimation. We provide a theoretical guarantee that DECI can recover the ground truth causal graph under standard causal discovery assumptions. Motivated by application impact, we extend this model to heterogeneous, mixed-type data with missing values, allowing for both continuous and discrete treatment decisions. Our results show the competitive performance of DECI when compared to relevant baselines for both causal discovery and (C)ATE estimation in over a thousand experiments on both synthetic datasets and causal machine learning benchmarks across data-types and levels of missingness.

研究动机与目标

• 通过在单一端到端框架中统一因果发现与因果推断两项任务，弥合两者之间的差距。
• 开发一种深度学习模型，能够在标准因果假设下恢复真实因果图并估计处理效应。
• 将框架扩展以处理现实世界中的复杂情况，如混合类型变量和缺失数据。
• 在模型设定正确的情况下，为因果图恢复提供理论保证。
• 在因果发现与处理效应估计两个方面，通过与最先进基线方法的实证比较，评估 DECI 的性能。

提出的方法

• DECI 使用基于流的自回归神经网络，对具有连续、非高斯噪声分布的非线性可加噪声结构方程模型（SEMs）进行建模。
• 通过变分推断学习因果图的后验分布，实现在观测数据上的端到端训练。
• 通过适当的分布建模，将异质性数据纳入模型，支持连续型与分类变量的混合类型变量。
• 在流模型中采用基于似然的方法，将缺失数据填补集成到框架中。
• 通过在学习到的 SEM 上应用 do-演算干预，估计因果量（如 CATE），实现基于模拟的推断。
• 通过加权邻接矩阵引入图先验，以在不可识别或难以识别的设置中提升性能。

实验结果

研究问题

• RQ1 深度生成模型能否从观测数据中联合执行因果发现与处理效应估计？
• RQ2 在标准假设下，DECI 是否在恢复真实因果图方面表现出理论一致性？
• RQ3 在合成数据集和真实世界基准数据集上，DECI 与独立的因果发现与推断流程相比表现如何？
• RQ4 在不可识别或模糊的设置中，图先验在多大程度上能提升因果发现与推断的性能？
• RQ5 当图规模和数据缺失程度增加时，DECI 的可扩展性如何？

主要发现

• DECI 在因果发现任务中表现优异，在超过 1,000 次合成与基准实验中，性能优于或匹配最先进方法。
• DECI 在所评估方法中运行时间最短，且推理时间几乎不随图规模变化，表明其具有卓越的可扩展性。
• 在不可识别设置中，使用基于 PC 的 CP-DAG 作为先验可显著提升因果图恢复效果，尽管并不总是能转化为更好的 ATE 估计。
• 在可识别但具有挑战性的设置中，采用强度为 0.5 的平衡先验（结合 PC 与 DECI）可实现最可靠的因果发现，并在先验强度低至 0.2 时实现完美的 ATE 估计。
• DECI 成功处理了混合类型变量与缺失数据，在多种数据配置下均保持强大性能。
• 理论分析表明，在模型设定正确的情况下，DECI 渐近地恢复真实因果图与数据生成过程。