[论文解读] Is it who you are or where you are? Accounting for compositional differences in cross-site treatment variation

Benjamin Lu, Eli Ben‐Michael+2 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Causal Inference Techniques参考文献 39被引用 6

一句话总结

本文提出了一种新颖的方法，利用近似平衡权重将治疗效应在多中心试验中进行转移，以分离个体水平协变量（组成性因素）与机构水平因素（情境性因素）对治疗效应异质性的贡献。通过将每个机构重新加权至个体特征的共同目标分布，作者发现，福利转就业项目中观察到的治疗效应异质性中，有不到10%源于组成性差异，凸显了情境因素的主导作用。

ABSTRACT

Multisite trials, in which treatment is randomized separately in multiple sites, offer a unique opportunity to disentangle treatment effect variation due to "compositional" differences in the distributions of unit-level features from variation due to "contextual" differences in site-level features. In particular, if we can re-weight (or "transport") each site to have a common distribution of unit-level covariates, the remaining effect variation captures contextual differences across sites. In this paper, we develop a framework for transporting effects in multisite trials using approximate balancing weights, where the weights are chosen to directly optimize unit-level covariate balance between each site and the target distribution. We first develop our approach for the general setting of transporting the effect of a single-site trial. We then extend our method to multisite trials, assess its performance via simulation, and use it to analyze a series of multisite trials of welfare-to-work programs. Our method is available in the balancer R package.

研究动机与目标

• 为解决在多中心随机试验中将治疗效应异质性分解为组成性（个体水平）与情境性（机构水平）成分的挑战。
• 开发一种稳健的方法，将治疗效应传输至个体水平协变量的共同目标分布，以实现更公平的跨机构比较。
• 在处理高维协变量并避免依赖目标人群中个体水平数据方面，优于传统的逆概率加权（IPW）和熵平衡方法。
• 在真实多中心福利转就业试验中应用并验证该方法，揭示个体特征与机构特征对治疗效应异质性贡献的相对大小。
• 为具有复杂协变量结构的观察性与实验性研究提供一种可扩展、计算高效的效应泛化框架。

提出的方法

• 该方法使用近似平衡权重，直接优化每个机构与预设协变量目标分布之间的个体水平协变量平衡。
• 通过凸优化问题选择权重，以最小化观测协变量（包括高阶交互项和核化特征）的不平衡性。
• 通过将每个机构的治疗效应传输至共同目标，该方法可扩展至多中心试验，从而实现对组成性调整后残差变异的比较。
• 该方法支持高维协变量，且无需访问目标人群的个体水平数据，与传统IPW或熵平衡方法不同。
• 通过结合加权与结果建模的双重稳健框架获取估计值，以提高效率与稳健性。
• 该方法已通过R包'balancer'实现，便于在实证研究中实际应用。

实验结果

研究问题

• RQ1 多中心试验中治疗效应的变异在多大程度上源于个体构成差异（如收入、教育水平）而非机构层面的情境因素？
• RQ2 当基线协变量分布存在显著差异时，如何对不同机构的治疗效应进行有意义的比较？
• RQ3 一种通过平衡各机构间个体水平协变量的重加权方法，是否能比传统方法提供更可靠的机构效应异质性估计？
• RQ4 目标分布的选择如何影响对机构水平治疗效应变异的解释？
• RQ5 在多中心福利转就业项目中，组成性因素与情境性因素对总体治疗效应异质性的相对贡献是什么？

主要发现

• 在59个福利转就业项目机构中，治疗效应总异质性中，有不到10%可归因于收入、教育水平和家庭规模等个体水平协变量的组成性差异。
• 在将所有机构重新加权至共同目标分布后，NEWWS实验的治疗效应最低，与最初未经调整估计中GAIN项目最有效的排序相矛盾。
• PI实验在效应传输后，估计的治疗效应和不确定性均显著上升，表明其原始结果受非代表性参与者特征的影响而产生偏差。
• 与传统逆概率加权（IPW）相比，所提出的近似平衡权重方法在协变量平衡与稳定性方面表现更优，尤其在高维协变量场景下。
• 该方法成功消除了个体水平协变量分布差异对不同机构效应比较的混杂影响，实现了机构效应的直接比较。
• 分析表明，情境因素——如机构层面的政策、项目设计或当地劳动力市场状况——占观测到的治疗效应变异的大多数。