[论文解读] Adapting Neural Networks for the Estimation of Treatment Effects

Claudia Shi, David M. Blei+1 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Causal Inference Techniques参考文献 25被引用 53

一句话总结

引入 Dragonnet，一种三头神经网络架构，利用倾向分数在因果调整中的充分性，以及一种有针对性的正则化方法，以改善来自观测数据的下游处理效应估计；在 IHDP 和 ACIC 2018 基准上显示出强劲结果。

ABSTRACT

This paper addresses the use of neural networks for the estimation of treatment effects from observational data. Generally, estimation proceeds in two stages. First, we fit models for the expected outcome and the probability of treatment (propensity score) for each unit. Second, we plug these fitted models into a downstream estimator of the effect. Neural networks are a natural choice for the models in the first step. The question we address is: how can we adapt the design and training of the neural networks used in the first step in order to improve the quality of the final estimate of the treatment effect? We propose two adaptations based on insights from the statistical literature on the estimation of treatment effects. The first is a new architecture, the Dragonnet, that exploits the sufficiency of the propensity score for estimation adjustment. The second is a regularization procedure, targeted regularization, that induces a bias towards models that have non-parametrically optimal asymptotic properties `out-of-the-box`. Studies on benchmark datasets for causal inference show these adaptations outperform existing methods. Code is available at github.com/claudiashi57/dragonnet.

研究动机与目标

• 在没有隐藏混杂的条件下，激励从观测数据中估计因果效应。
• 开发基于神经网络的模型来估计条件结果 Q(t, x) 和倾向分数 g(x)。
• 提出能改善下游 ATE（平均处理效应）估计的架构和正则化技术，同时兼顾有限样本行为。

提出的方法

• 提出 Dragonnet，一种三头神经网络，具有共享表示 Z(X)：一个头预测 g(x)（倾向得分），两个头分别预测 Q(0, x) 和 Q(1, x)。
• 以端到端目标函数训练，结合结果预测损失和倾向得分预测损失：R(θ) = (1/n) Σi [ (Qnn(ti, xi; θ) − yi)^2 + α CrossEntropy(gnn(xi; θ), ti) ].
• 引入定向正则化：用扰动 tildeQ 增强 Q，并在损失中添加平方误差项 γ，然后对 ε 进行优化，以满足一个非参数估计方程。
• 以非参数估计理论为基础（受 TMLE 启发），使 ATE ψ 具稳健性和效率。
• 将端到端 Dragonnet 及带定向正则化的 Dragonnet 与多阶段基线 (NEDnet) 和基于 TMLE 的方法进行比较。

实验结果

研究问题

• RQ1 端到端神经网络训练用于 Q 和 g 能否相较传统多阶段方法改善下游 ATE 估计？
• RQ2 在神经网络中强制倾向得分充分性（Dragonnet）是否能带来更好的因果调整和 ATE 估计，特别是当许多协变量与处理分配无关时？
• RQ3 定向正则化是否为神经网络设置中的 ATE 估计提供有限样本稳定性和渐近效率？
• RQ4 相对于现有神经网络基线，这些方法在已建立的因果基准数据集（IHDP、ACIC 2018）上的表现如何？

主要发现

• 带定向正则化的 Dragonnet 在神经网络方法中在 IHDP 上实现了最先进的估计误差。
• 在 ACIC 2018 上，Dragonnet，尤其是带定向正则化的 Dragonnet，在许多设置中优于基线和 TMLE。
• 当大量协变量影响 Y 但不影响 T 时，Dragonnet 往往取胜，这与利用倾向分数的充分性来聚焦于与处理相关信息相符。
• 端到端的 Dragonnet 在估计效应方面比多阶段 NEDnet 表现更好。
• TMLE 在有限样本中可能下降表现，而定向正则化在更广泛的条件下保持或提高估计。
• 仅调整与处理分配相关的信息（通过共享表示）即可在预测结果略有下降的情况下改进估计。