[논문 리뷰] Analyzing multilevel experiments in the presence of peer effects

Guillaume Basse, Avi Feller|arXiv (Cornell University)|2016. 08. 24.

Advanced Causal Inference Techniques인용 수 3

한 줄 요약

이 논문은 가구 규모가 다양할 때 다수준 실험에 대한 편향이 없는 추정량을 제안하며, 개인 기반 및 가구 가중치 기반 추정량을 비교하고, 적절한 표준오차를 사용할 경우 선형 회귀와 랜덤화 기반 추론 간의 동등성을 입증한다. 실제 결석 방지 개입에서 상당한 확산 효과를 발견하였으며, 시뮬레이션과 실증 분석을 통해 방법의 타당성을 검증한다.

ABSTRACT

Multilevel or two-stage randomization is a powerful design for estimating treatment effects in the presence of social interactions. Our motivating example is a multilevel randomized trial evaluating an intervention to reduce student absenteeism in the School District of Philadelphia. In that experiment, households with multiple students were first assigned to treatment or control; then, in treated households, one student was randomly assigned to treatment. Using this example, we highlight key considerations for analyzing multilevel experiments in practice. Our first contribution is to address additional complexities that arise when household sizes vary; in this case, researchers must decide between assigning equal weight to households or equal weight to individuals. We propose unbiased estimators for a broad class of individual- and household-weighted estimands, with corresponding theoretical and estimated variances. Our second contribution is to connect two common approaches for analyzing multilevel designs: linear regression and randomization inference. We show that, with suitably chosen standard errors, these two approaches yield identical point and variance estimates, which is somewhat surprising given the complex randomization scheme. Finally, we explore options for incorporating covariates to improve precision and confirm our analytic results via simulation studies. We apply these methods to the attendance study and find large, substantively meaningful spillover effects.

연구 동기 및 목표

• 가정 규모가 다양할 때 다수준 랜덤화 실험에서 분석적 과제를 해결하기 위해, 특히 가정 또는 개인에 대해 동일한 가중치를 부여할 것인지의 선택 문제를 다루기 위해.
• 개인 기반 및 가구 기반 추정량에 대한 편향이 없는 추정량을 개발하고, 이에 해당하는 이론적 및 추정된 분산을 제공하기 위해.
• 동료 효과가 있는 복잡한 다수준 설계에서 선형 회귀와 랜덤화 기반 추론 간의 공식적인 연결 고리를 설정하기 위해.
• 정밀도 향상을 위한 공변량 조정 전략을 평가하기 위해.
• 시뮬레이션 연구와 필라델피아의 실제 결석 개입에의 적용을 통해 제안된 방법을 검증하기 위해.

제안 방법

• 이질적인 가구 규모를 가진 다수준 실험에서 개인 기반 및 가구 기반 추정량에 대한 편향이 없는 추정량을 제안한다.
• 이러한 추정량의 이론적 및 추정된 분산을 유도하여 추론을 지원한다.
• 복잡한 랜덤화 기반에서 적절한 강력한 표준오차를 사용한 선형 회귀는 랜덤화 기반 추론과 동일한 점 추정치 및 분산 추정치를 산출함을 입증한다.
• 다양한 설계 조건 하에서 제안된 추정량의 타당성과 정밀도 향상을 확인하기 위해 시뮬레이션 연구를 수행한다.
• 특히 이질적인 치료 효과가 존재하는 환경에서 정밀도 향상을 위해 공변량 조정을 통합한다.
• 가정 수준 및 개인 수준의 랜덤화를 사용하여 필라델피아의 학생 결석에 대한 실제 다수준 랜덤화 시험에 방법을 적용한다.

실험 결과

연구 질문

• RQ1 동료 효과가 있는 다수준 실험에서, 가정 규모가 다를 경우 연구자가 어떻게 처리 효과를 추정해야 하는가?
• RQ2 복잡한 랜덤화 기반에서 다수준 설계에서 선형 회귀와 랜덤화 기반 추론 간의 관계는 무엇인가?
• RQ3 공변량 조정은 동료 효과가 있는 다수준 실험에서 정밀도를 향상시킬 수 있으며, 어떻게 시행해야 하는가?
• RQ4 편향과 분산 측면에서 개인 기반 가중치 추정량과 가구 기반 가중치 추정량을 선택할 경우 어떤 영향을 미치는가?
• RQ5 사회적 상호작용이 있는 실제 다수준 실험에서 어떤 크기와 방향의 확산 효과를 감지할 수 있는가?

주요 결과

• 개인 기반 및 가구 기반 추정량에 대한 제안된 편향이 없는 추정량은 타당한 추론을 가능하게 하며, 올바른 이론적 및 추정된 분산을 제공한다.
• 적절한 강력한 표준오차를 사용한 선형 회귀는 복잡한 랜덤화 메커니즘에도 불구하고 랜덤화 기반 추론과 동일한 점 추정치 및 분산 추정치를 산출한다.
• 공변량 조정은 다수준 실험에서 처리 효과 추정의 정밀도 향상에 기여한다.
• 시뮬레이션 연구를 통해 제안된 추정량이 다양한 설계 및 결과 구성 조건 하에서 타당성과 강건성을 확인한다.
• 필라델피아의 결석 시험에 대한 실증 적용에서 큰, 실질적으로 의미 있는 확산 효과를 발견하였으며, 교육 성과에서 강한 동료 효과가 있음을 시사한다.