[论文解读] Decomposing Treatment Effect Variation

Peng Ding, Avi Feller+1 more|arXiv (Cornell University)|May 21, 2016

Advanced Causal Inference Techniques参考文献 31被引用 5

一句话总结

本文提出了一种基于随机化的框架，将随机化实验中的处理效应变异分解为系统性（由协变量解释）和特异性（未解释）两部分，并扩展至非依从性情形。该框架引入了与带交互项的线性回归及两阶段最小二乘法等价的估计量，提出了一项适用于系统性变异的综合检验，并引入了一种类似R²的解释变异度量，通过模拟验证并在《开端计划影响研究》中进行了实证应用。

ABSTRACT

Understanding and characterizing treatment effect variation in randomized experiments has become essential for going beyond the "black box" of the average treatment effect. Nonetheless, traditional statistical approaches often ignore or assume away such variation. In the context of randomized experiments, this paper proposes a framework for decomposing overall treatment effect variation into a systematic component explained by observed covariates and a remaining idiosyncratic component. Our framework is fully randomization-based, with estimates of treatment effect variation that are entirely justified by the randomization itself. Our framework can also account for noncompliance, which is an important practical complication. We make several contributions. First, we show that randomization-based estimates of systematic variation are very similar in form to estimates from fully-interacted linear regression and two stage least squares. Second, we use these estimators to develop an omnibus test for systematic treatment effect variation, both with and without noncompliance. Third, we propose an $R^2$-like measure of treatment effect variation explained by covariates and, when applicable, noncompliance. Finally, we assess these methods via simulation studies and apply them to the Head Start Impact Study, a large-scale randomized experiment.

研究动机与目标

• 开发一种完全基于随机化的处理方法，以分解随机化实验中的处理效应变异，超越平均处理效应的范畴。
• 解决传统方法忽略或假设处理效应异质性的问题。
• 将该框架扩展至非依从性情形，特别是针对局部平均处理效应（LATE）估计。
• 提供一种在随机化下有效的综合检验，用于检验系统性处理效应变异，无论是否存在非依从性。
• 引入一种类似R²的度量，用于量化由协变量和非依从性解释的处理效应变异比例。

提出的方法

• 提出一种基于随机化的系统性处理效应变异估计量，其形式与完全交互的线性回归及两阶段最小二乘法（2SLS）完全一致。
• 利用锐质零假设下的潜在结果，推导出仅基于随机化机制的估计量。
• 基于随机化推断，开发了一项适用于意向治疗和LATE框架的系统性变异综合检验。
• 引入一种类似R²的处理效应变异解释度量，其取值范围在0到1之间，并扩展以考虑非依从性的影响。
• 将该框架应用于《开端计划影响研究》，并通过模拟研究验证其小样本性能。
• 在潜在结果之间相关性非负的假设下，对R²度量施加了边界限制。

实验结果

研究问题

• RQ1 如何仅通过基于随机化的推断，正式地将随机化实验中的处理效应变异分解为系统性和特异性两部分？
• RQ2 可观测协变量在多大程度上能够解释处理效应的变异？如何通过一种有效的类似R²的度量来量化这一解释程度？
• RQ3 该框架如何扩展以处理非依从性，特别是在LATE估计的背景下？
• RQ4 在大规模随机化试验（如《开端计划影响研究》）中，是否存在系统性处理效应变异的实证证据？
• RQ5 非依从性在整体处理效应变异中起到何种作用？其影响如何被隔离并测量？

主要发现

• 基于随机化的系统性处理效应变异估计量在形式上几乎与带交互项的两阶段最小二乘法估计量完全一致，为基于随机化的推断与基于模型的推断之间架起了桥梁。
• 在《开端计划影响研究》中，系统性变异的综合检验得到的p值分别为0.02（基于随机化）和0.01（2SLS），表明对遵从者群体中存在系统性变异有强统计证据。
• 在《开端计划》研究中，遵从者群体中由协变量解释的变异R²度量范围为0.05至0.68，表明存在大量未被协变量单独解释的异质性。
• 由非依从性导致的处理效应变异（R²_U）相对较小，范围在0.01至0.16之间，表明其对整体变异的贡献较小。
• 整体分解结果显示，R²_τ,UX（由协变量和非依从性共同解释）接近R²_τ,c（仅由协变量解释），表明大部分未解释变异为特异性变异。
• 实证结果证实，处理效应变异的显著部分无法由协变量或非依从性共同解释，与Ding等人（2016）的先前发现一致。