[论文解读] Analyzing multilevel experiments in the presence of peer effects

Guillaume Basse, Avi Feller|arXiv (Cornell University)|Aug 24, 2016

Advanced Causal Inference Techniques被引用 3

一句话总结

本文提出了针对异质家庭规模的多层级实验的无偏估计量，比较了个体加权与家庭加权估计量，并证明了在使用适当标准误时，线性回归与随机化推断之间具有等价性。研究发现，在一项现实世界中的缺勤干预实验中存在显著的溢出效应，通过模拟和实证分析验证了该方法的有效性。

ABSTRACT

Multilevel or two-stage randomization is a powerful design for estimating treatment effects in the presence of social interactions. Our motivating example is a multilevel randomized trial evaluating an intervention to reduce student absenteeism in the School District of Philadelphia. In that experiment, households with multiple students were first assigned to treatment or control; then, in treated households, one student was randomly assigned to treatment. Using this example, we highlight key considerations for analyzing multilevel experiments in practice. Our first contribution is to address additional complexities that arise when household sizes vary; in this case, researchers must decide between assigning equal weight to households or equal weight to individuals. We propose unbiased estimators for a broad class of individual- and household-weighted estimands, with corresponding theoretical and estimated variances. Our second contribution is to connect two common approaches for analyzing multilevel designs: linear regression and randomization inference. We show that, with suitably chosen standard errors, these two approaches yield identical point and variance estimates, which is somewhat surprising given the complex randomization scheme. Finally, we explore options for incorporating covariates to improve precision and confirm our analytic results via simulation studies. We apply these methods to the attendance study and find large, substantively meaningful spillover effects.

研究动机与目标

• 为解决在家庭规模不等时多层级随机试验中的分析挑战，特别是家庭与个体等权选择的问题。
• 为个体加权与家庭加权估计量开发无偏估计量，并提供相应的理论与估计方差。
• 在存在同伴效应的复杂多层级设计中，建立线性回归与随机化推断之间的正式联系。
• 评估协变量调整策略在提升多层级实验设计中估计精度方面的效果。
• 通过模拟研究与对费城一项真实缺勤干预的应用，验证所提出方法的有效性。

提出的方法

• 为异质家庭规模的多层级实验中的个体加权与家庭加权估计量提出无偏估计量。
• 推导这些估计量的理论方差与估计方差，以支持统计推断。
• 证明在复杂随机化机制下，使用适当稳健标准误的线性回归可产生与随机化推断完全相同的点估计与方差估计。
• 通过模拟研究验证在各种设计条件下，所提估计量的有效性与精度提升。
• 引入协变量调整以提高估计精度，尤其在处理异质处理效应的情境下。
• 将方法应用于费城一项关于学生缺勤的多层级随机试验，分别采用家庭层级与个体层级的随机化。

实验结果

研究问题

• RQ1 在存在同伴效应的多层级实验中，当家庭规模不等时，研究者应如何处理以估计处理效应？
• RQ2 在具有复杂随机化方案的多层级设计中，线性回归与随机化推断之间存在何种关系？
• RQ3 协变量调整能否提升存在同伴效应的多层级实验中的估计精度，以及应如何实施？
• RQ4 在偏差与方差方面，选择个体加权估计量与家庭加权估计量会产生何种影响？
• RQ5 在存在社会互动的真实世界多层级实验中，可检测到多大程度与方向的溢出效应？

主要发现

• 为个体加权与家庭加权估计量所提出的无偏估计量，在理论与估计方差上均能提供有效的推断。
• 尽管随机化机制复杂，使用适当稳健标准误的线性回归仍可产生与随机化推断完全相同的点估计与方差估计。
• 协变量调整可提升多层级实验中处理效应估计的精度。
• 模拟研究证实了在各种设计与结果配置下，所提估计量的有效性与稳健性。
• 对费城缺勤试验的实证应用揭示了显著且具有实际意义的溢出效应，表明教育结果中存在强烈的同伴效应。