[논문 리뷰] Model-assisted analyses of cluster-randomized experiments

Fangzhou Su, Peng Ding|arXiv (Cornell University)|2021. 04. 09.

Advanced Causal Inference Techniques참고 문헌 47인용 수 4

한 줄 요약

이 논문은 집단 랜덤화 실험을 분석하기 위한 설계 기반, 모델 보조 프레임워크를 제안하며, 개인 수준 데이터, 집단 총합 데이터, 집단 평균 데이터를 사용하는 회귀 추정기 간 비교를 수행한다. 이는 공변량 조정이 된 집단 총합에 대한 회귀 분석이 가장 효율적이고 일致하는 추정기를 제공함을 보여주며, 모형 잘못 설정 시에도 보수적인 그러나 신뢰할 수 있는 추론을 제공하는 로버스트 표준오차의 유용성을 입증한다.

ABSTRACT

Cluster-randomized experiments are widely used due to their logistical convenience and policy relevance. To analyze them properly, we must address the fact that the treatment is assigned at the cluster level instead of the individual level. Standard analytic strategies are regressions based on individual data, cluster averages, and cluster totals, which differ when the cluster sizes vary. These methods are often motivated by models with strong and unverifiable assumptions, and the choice among them can be subjective. Without any outcome modeling assumption, we evaluate these regression estimators and the associated robust standard errors from a design-based perspective where only the treatment assignment itself is random and controlled by the experimenter. We demonstrate that regression based on cluster averages targets a weighted average treatment effect, regression based on individual data is suboptimal in terms of efficiency, and regression based on cluster totals is consistent and more efficient with a large number of clusters. We highlight the critical role of covariates in improving estimation efficiency, and illustrate the efficiency gain via both simulation studies and data analysis. Moreover, we show that the robust standard errors are convenient approximations to the true asymptotic standard errors under the design-based perspective. Our theory holds even when the outcome models are misspecified, so it is model-assisted rather than model-based. We also extend the theory to a wider class of weighted average treatment effects.

연구 동기 및 목표

• 집단 랜덤화 실험에서 표준 회귀 방법의 비효율성과 모형 의존성 문제를 해결하기 위해.
• 개인 데이터, 집단 총합, 집단 평균을 사용한 설계 기반 추정기 성질을 평가하기 위해.
• 다양한 가정과 공변량 조정 하에서 추정기 선택의 효율성-내구성 트레이드오프를 정량화하기 위해.
• 이 맥락에서 로버스트 표준오차가 진정한 점근적 표준오차의 보수적인 근사임을 입증하기 위해.
• 가중 평균 처리 효과로의 프레임워크 확장과 함께, 가중 집단 평균에 기반한 새로운 추정기 제안하기 위해.

제안 방법

• 결과에 대한 강력한 파라미터적 가정 없이, 오직 처리 배정만 랜덤임을 전제로 한 설계 기반 시각을 채택하기 위해.
• 개인 데이터, 집단 총합, 집단 평균에 대한 회귀 추정기 간 비교를 공변량 조정 유무에 따라 수행하기 위해.
• 잠재적 결과와 설계 기반 점근 이론을 활용하여 랜덤화 하에서 추정기 성질을 도출하기 위해.
• 집단 크기와 공변량에 기반한 가중치를 사용한 가중 최소제곱 추정기(가중 집단 평균 기반)를 제안하여 효율성 향상하기 위해.
• 로버스트 표준오차(집단 로버스트 및 이방성 로버스트)를 진정한 표준오차의 보수적인 근사로 유도하고 평가하기 위해.
• 집단 수준 효과를 타깃으로 하는 더 넓은 가중 평균 처리 효과의 클래스로 결과를 확장하기 위해.

(a) Simulation in Section 6.1 : comparing the estimators

실험 결과

연구 질문

• RQ1 설계 기반 추론 하에서 개인 데이터, 집단 총합, 집단 평균에 기반한 다양한 회귀 추정기 간 효율성과 일치성은 어떻게 비교되는가?
• RQ2 공변량 조정은 집단 랜덤화 실험에서 추정기 효율성과 내구성에 어떤 영향을 미치는가?
• RQ3 개인 수준 회귀에서 집단 로버스트 표준오차는 진정한 점근적 표준오차의 유효한 보수적 근사인가?
• RQ4 데이터 수준 선택(개인 대비 집단)은 추정의 효율성-내구성 트레이드오프에 어떤 영향을 미치는가?
• RQ5 가중 집단 평균에 기반한 새로운 추정기는 기존의 집단 평균 회귀 대비 효율성과 일치성 측면에서 뛰어나다고 할 수 있는가?

주요 결과

• 대규모 표본 설계 기반 추론 하에서, 공변량 조정이 된 집단 총합에 대한 회귀 분석이 평균 처리 효과 추정에 가장 효율적이고 일치하는 추정기를 제공한다.
• 공변량 조정이 된 개인 데이터 기반 회귀는 효율성이 열등하지만, 모형 잘못 설정과 집단 크기 변동성에 더 강인하다.
• 개인 수준 회귀에서 집단 로버스트 표준오차는 진정한 점근적 표준오차의 보수적인 추정기이며, 타당한 추론을 보장한다.
• 이방성 로버스트 표준오차는 집단 총합 회귀에서 보수적인 것으로 나타나, Lin(2013)의 결과를 집단 랜덤화 설계로 확장한다.
• 제안된 가중 최소제곱 추정기(집단 평균 기반)는 공변량 정보를 통합함으로써 기존의 표준 집단 평균 회귀보다 더 높은 효율성을 달성한다.
• 시뮬레이션과 데이터 분석 결과, 공변량 조정이 된 집단 총합 추정기는 조정되지 않은 추정기 대비 루트 평균 제곱 오차를 최대 75%까지 감소시킨다.

(b) Simulation in Section 6.2 : noise covariate