[论文解读] Machine-Learning Tests for Effects on Multiple Outcomes

Jens Ludwig, Sendhil Mullainathan+1 more|arXiv (Cornell University)|Jul 5, 2017

Advanced Causal Inference Techniques参考文献 21被引用 7

一句话总结

本文提出了一种基于机器学习的统计检验方法，通过反向回归框架，将现成的机器学习算法重新用于在随机对照试验（RCTs）中检测多个结果变量的处理效应，即以结果变量作为预测因子来预测处理分配。该方法通过样本分割和置换检验控制多重检验问题，从而获得有效的p值，并在处理效应在不同结果变量的方差中存在差异时，相比传统多元检验具有更高的统计功效。

ABSTRACT

In this paper we present tools for applied researchers that re-purpose off-the-shelf methods from the computer-science field of machine learning to create a "discovery engine" for data from randomized controlled trials (RCTs). The applied problem we seek to solve is that economists invest vast resources into carrying out RCTs, including the collection of a rich set of candidate outcome measures. But given concerns about inference in the presence of multiple testing, economists usually wind up exploring just a small subset of the hypotheses that the available data could be used to test. This prevents us from extracting as much information as possible from each RCT, which in turn impairs our ability to develop new theories or strengthen the design of policy interventions. Our proposed solution combines the basic intuition of reverse regression, where the dependent variable of interest now becomes treatment assignment itself, with methods from machine learning that use the data themselves to flexibly identify whether there is any function of the outcomes that predicts (or has signal about) treatment group status. This leads to correctly-sized tests with appropriate $p$-values, which also have the important virtue of being easy to implement in practice. One open challenge that remains with our work is how to meaningfully interpret the signal that these methods find.

研究动机与目标

• 为解决由于多重检验问题而导致RCT中丰富结果数据未被充分利用的问题。
• 开发一种实用且推断有效的机器学习方法，用于同时检验多个结果变量上的处理效应。
• 构建一个“发现引擎”，识别超出预设假设的处理效应，尤其在效应在结果分布中存在异质性时。
• 在处理效应在组间方差不同的情况下，相比标准多元检验（如SUR），提升统计功效。
• 提供一种在复杂设计（包括聚类、分层和缺失数据）下仍保持有效的分析方法。

提出的方法

• 通过将处理分配视为结果变量，将所有候选结果变量作为预测变量，重构假设检验。
• 使用样本分割：在数据的一半上训练预测模型（如线性回归或随机森林），以从结果变量预测处理状态。
• 应用置换检验：随机重排处理分配，并重新计算预测性能，以生成预测准确性的零抽样分布。
• 将p值计算为置换检验统计量中超过观测预测性能的比例。
• 使用集成模型（如线性回归与随机森林的凸组合）并结合交叉验证，以优化预测性能和稳健性。
• 通过基于置换检验的p值控制多重检验，该方法天然地考虑了所测试的结果数量。

实验结果

研究问题

• RQ1 机器学习方法是否能在保持正确第一类错误率的前提下，检测RCT中多个结果变量的处理效应？
• RQ2 当处理效应在组间方差不同的情况下，所提出的基于预测的检验方法在功效上是否优于传统的多元检验（如看似无关回归，SUR）？
• RQ3 该方法是否能检测到因预设偏差或仅关注均值结果而被传统分析遗漏的处理效应？
• RQ4 在处理效应大小（move）和组间方差变化（stretch）不同的情况下，该方法的表现如何？
• RQ5 该方法是否可适应复杂的RCT设计，如聚类随机化、分层随机化或缺失数据？

主要发现

• 在原假设下（无处理效应），预测检验保持了正确的尺寸，模拟结果显示拒绝频率接近名义上的5%水平。
• 当处理效应增大（move）时，预测检验和SUR的统计功效均提升，但在存在方差变化（stretch）时，预测检验的统计功效更高。
• 当处理组与对照组之间存在差异方差（stretch）时，预测检验的功效上升，而SUR检验的功效下降，原因在于SUR仅依赖于均值变化。
• 当move = 0.5且stretch = 0.5时，预测检验的拒绝率为68.1%，而SUR的Wald检验为81.8%，表明在方差异质性下预测检验具有更高的统计功效。
• 原假设下p值的累积分布近似均匀分布，证实了置换检验推断的正确性和有效性。
• 该方法在检测仅由均值变化无法捕捉的效应方面优于标准多元检验，尤其在效应集中在分布尾部或方差中时表现更优。