[论文解读] Fisher-Schultz Lecture: Generic Machine Learning Inference on Heterogenous Treatment Effects in Randomized Experiments, with an Application to Immunization in India

Victor Chernozhukov, Mert Demirer+2 more|arXiv (Cornell University)|Dec 13, 2017

Advanced Causal Inference Techniques被引用 9

一句话总结

本文提出了一种通用的、无偏见的框架，用于在随机实验中使用机器学习代理变量估计和推断异质处理效应，通过重复数据分割和分位数聚合确保推断的有效性。该方法无需强假设即可发现有意义的异质性，应用表明印度的免疫接种助推措施具有高度依赖情境的效应。

ABSTRACT

We propose strategies to estimate and make inference on key features of heterogeneous effects in randomized experiments. These key features include best linear predictors of the effects using machine learning proxies, average effects sorted by impact groups, and average characteristics of most and least impacted units. The approach is valid in high dimensional settings, where the effects are proxied (but not necessarily consistently estimated) by predictive and causal machine learning methods. We post-process these proxies into estimates of the key features. Our approach is generic, it can be used in conjunction with penalized methods, neural networks, random forests, boosted trees, and ensemble methods, both predictive and causal. Estimation and inference are based on repeated data splitting to avoid overfitting and achieve validity. We use quantile aggregation of the results across many potential splits, in particular taking medians of p-values and medians and other quantiles of confidence intervals. We show that quantile aggregation lowers estimation risks over a single split procedure, and establish its principal inferential properties. Finally, our analysis reveals ways to build provably better machine learning proxies through causal learning: we can use the objective functions that we develop to construct the best linear predictors of the effects, to obtain better machine learning proxies in the initial step. We illustrate the use of both inferential tools and causal learners with a randomized field experiment that evaluates a combination of nudges to stimulate demand for immunization in India.

研究动机与目标

• 开发一种通用的、无偏见的方法，用于在随机实验中使用机器学习代理变量估计和推断异质处理效应。
• 通过重复数据分割和结果的分位数聚合，解决子群分析中的过拟合和p值操纵问题。
• 在无需预先指定子群或参数形式的情况下，实现对处理效应异质性的有意义发现。
• 使用来自印度一项免疫接种随机试验的真实世界数据，在高维设置中展示该方法的有效性和稳健性。
• 展示因果学习如何通过构建处理效应更好线性预测器，提升机器学习代理变量的质量。

提出的方法

• 通过重复数据分割避免过拟合，并在高维设置中确保推断有效性。
• 采用分位数聚合方法，特别是对多个分割结果中的p值和置信区间取中位数，以降低重复性风险。
• 对机器学习代理变量（如随机森林、神经网络、套索等）进行后处理，生成关键特征的估计值：最佳线性预测器、排序后的平均效应，以及受影响最大/最小单位的特征。
• 采用双重稳健框架，使用机器学习方法同时估计结果和倾向得分，确保在较弱假设下的一致性。
• 利用最佳线性预测器的目标函数，通过因果学习迭代改进机器学习代理变量。
• 通过将目标函数视为通用信号（例如，条件平均因果导数或分布变化下的效应），推广至其他因果推断问题。

实验结果

研究问题

• RQ1 我们能否在不预先指定子群的情况下，可靠地检测和估计随机实验中的异质处理效应？
• RQ2 在高维设置中使用机器学习代理变量估计处理效应时，如何确保推断的有效性？
• RQ3 重复数据分割和分位数聚合对降低估计风险和提升推断稳健性有何影响？
• RQ4 因果学习能否提升用于处理效应估计的机器学习代理变量的质量？
• RQ5 在印度，行为助推措施在不同村庄中对免疫接种的效应异质性程度如何？

主要发现

• 该方法成功识别出：结合小额激励、信息中心和短信提醒的免疫接种助推措施具有显著的、情境依赖的效应，且在某些村庄中可能产生反效果。
• 与单次分割程序相比，分位数聚合显著降低了估计风险，提升了推断的可靠性。
• 该方法揭示，子群分析中看似存在的异质性往往具有虚假性，而经过规范的基于机器学习的推断可防止错误发现。
• 通过构建处理效应的更好线性预测器，因果学习提升了机器学习代理变量的质量，增强了预测准确性。
• 在印度的免疫接种研究中，最有效的干预措施仅在基线接种率较低的村庄中具有成本效益，凸显了情境特定试点的重要性。
• 即使机器学习代理变量未被一致估计，该方法仍能保持有效性，表明其对模型误设具有稳健性。