[论文解读] Learning Objectives for Treatment Effect Estimation

Xinkun Nie, Stefan Wager|arXiv (Cornell University)|Dec 13, 2017

Advanced Causal Inference Techniques参考文献 53被引用 64

一句话总结

本文提出了一种灵活的两步法，用于在观察性研究中估计异质处理效应，首先学习边际效应和处理倾向，然后优化推导出的目标函数。该方法在惩罚核回归中实现了准最优效率，并在使用惩罚回归和深度学习模型时表现出强劲的实证性能。

ABSTRACT

We develop a general class of two-step algorithms for heterogeneous treatment effect estimation in observational studies. We first estimate marginal effects and treatment propensities to form an objective function that isolates the heterogeneous treatment effects, and then optimize the learned objective. This approach has several advantages over existing methods. From a practical perspective, our method is very flexible and easy to use: In both steps, we can use any method of our choice, e.g., penalized regression, a deep net, or boosting; moreover, these methods can be fine-tuned by cross-validating on the learned objective. Meanwhile, in the case of penalized kernel regression, we show that our method has a quasi-oracle property, whereby even if our pilot estimates for marginal effects and treatment propensities are not particularly accurate, we achieve the same regret bounds as an oracle who has a-priori knowledge of these nuisance components. We implement variants of our method based on both penalized regression and convolutional neural networks, and find promising performance relative to existing baselines.

研究动机与目标

• 开发一种通用且灵活的框架，用于估计观察性数据中的异质处理效应。
• 将处理效应的估计与边际效应和处理倾向等干扰成分的估计解耦。
• 允许在两个步骤中使用任何机器学习方法，并通过在学习到的目标函数上进行交叉验证来调参。
• 在对初步估计施加弱条件的情况下，建立理论保证，包括准最优效率。
• 通过使用惩罚回归和卷积神经网络的实现，展示方法的实际有效性。

提出的方法

• 该方法采用两步程序：首先使用任何选定方法估计边际效应和处理倾向。
• 利用这些估计值构建一个能隔离异质处理效应的损失函数。
• 第二步使用相同或不同的模型来优化该学习到的目标函数，从而实现灵活建模。
• 该方法支持在学习到的目标函数上进行交叉验证，以调优两个步骤中的超参数。
• 对于惩罚核回归，该方法即使在初步估计不完美时，也能实现准最优遗憾界。
• 该框架通过惩罚回归和卷积神经网络的实现，评估了其实际性能。

实验结果

研究问题

• RQ1 一种将干扰估计与处理效应学习分离的两步法，能否实现强劲的实证性能？
• RQ2 当初始的边际效应和处理倾向估计不准确时，该方法是否仍能保持理论效率？
• RQ3 该方法能否灵活地整合多样化的模型，如深度神经网络和惩罚回归？
• RQ4 在估计准确性和鲁棒性方面，该方法与现有基线相比表现如何？
• RQ5 能否有效应用交叉验证于学习到的目标函数，以改善模型调优？

主要发现

• 即使初步估计的边际效应和处理倾向不理想，该方法在惩罚核回归情况下仍能实现准最优遗憾界。
• 实证结果表明，使用惩罚回归和卷积神经网络时，该方法相对于现有基线表现出强劲的性能。
• 该框架支持在两个步骤中灵活选择模型，从而能够整合现代机器学习技术。
• 在学习到的目标函数上进行交叉验证，可有效实现对方法各组成部分的超参数调优。
• 该方法在保持理论鲁棒性的同时，为模型选择和实现提供了实际优势。