[논문 리뷰] Decomposing Treatment Effect Variation

Peng Ding, Avi Feller외 1명|arXiv (Cornell University)|2016. 05. 21.

Advanced Causal Inference Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 랜덤화 기반 프레임워크를 제안하여 랜덤화 실험에서 치료 효과 변동성을 공변량에 의해 설명되는 체계적(시스템적) 성분과 설명되지 않은 비특이적(비특이적) 성분으로 분해한다. 비준수 상황을 고려한 확장도 포함되어 있으며, 시뮬레이션을 통한 검증과 헤드스타트 영향 연구에의 적용을 통해 검증되었다. 선형 회귀와 상호작용 항이 포함된 회귀 및 이단계 최소제곱법(2SLS)과 동치인 추정량, 체계적 변동성에 대한 종합적 검정, 그리고 설명된 변동성에 대한 R² 유사 측정법을 도입하였다.

ABSTRACT

Understanding and characterizing treatment effect variation in randomized experiments has become essential for going beyond the "black box" of the average treatment effect. Nonetheless, traditional statistical approaches often ignore or assume away such variation. In the context of randomized experiments, this paper proposes a framework for decomposing overall treatment effect variation into a systematic component explained by observed covariates and a remaining idiosyncratic component. Our framework is fully randomization-based, with estimates of treatment effect variation that are entirely justified by the randomization itself. Our framework can also account for noncompliance, which is an important practical complication. We make several contributions. First, we show that randomization-based estimates of systematic variation are very similar in form to estimates from fully-interacted linear regression and two stage least squares. Second, we use these estimators to develop an omnibus test for systematic treatment effect variation, both with and without noncompliance. Third, we propose an $R^2$-like measure of treatment effect variation explained by covariates and, when applicable, noncompliance. Finally, we assess these methods via simulation studies and apply them to the Head Start Impact Study, a large-scale randomized experiment.

연구 동기 및 목표

• 랜덤화 기반 접근법을 완전히 활용하여 평균 치료 효과를 넘어서 랜덤화 실험에서의 치료 효과 변동성을 분해하는 방법을 개발한다.
• 기존 방법론이 치료 효과 이질성을 忽시하거나 가정적으로 처리하는 한계를 해결한다.
• 특히 국소 평균 치료 효과(LATE) 추정을 위한 맥락에서 비준수 상황을 고려한 프레임워크를 확장한다.
• 랜덤화 하에서 체계적 치료 효과 변동성에 대한 타당한 종합적 검정을 제공하며, 비준수 유무에 관계없이 적용 가능하다.
• 공변량과 비준수에 의해 설명되는 치료 효과 변동성 비율을 측정할 수 있는 R² 유사 측정법을 도입한다.

제안 방법

• 완전히 상호작용 항이 포함된 선형 회귀와 이단계 최소제곱법(2SLS)의 형태를 그대로 반영한, 체계적 치료 효과 변동성에 대한 랜덤화 기반 추정량을 제안한다.
• 날카로운 귀무가설 하에서 잠재적 결과를 사용하여, 랜덤화 메커니즘에 의해만 정당화되는 추정량을 유도한다.
• 랜덤화 추론을 활용하여 의도에 따라 치료를 받는 것과 LATE 프레임워크 모두에 적용 가능한 체계적 변동성에 대한 종합적 검정을 개발한다.
• 0에서 1 사이에 놓이는 R² 유사 측정법을 도입하여 설명된 치료 효과 변동성의 비율을 측정하며, 비준수를 고려한 확장도 포함한다.
• 유한 표본 성능을 검증하기 위해 시뮬레이션 연구를 수행하고, 헤드스타트 영향 연구에 프레임워크를 적용한다.
• 잠재적 결과 간의 비음성 상관관계를 가정할 때 R² 측정법의 범위를 제한하는 방법을 구현한다.

실험 결과

연구 질문

• RQ1 랜덤화 기반 추론만을 사용하여 랜덤화 실험에서의 치료 효과 변동성을 체계적 성분과 비특이적 성분으로 공식적으로 분해할 수 있는가?
• RQ2 관측된 공변량이 치료 효과 변동성의 어느 정도를 설명할 수 있으며, 이를 타당한 R² 유사 측정법으로 어떻게 정량화할 수 있는가?
• RQ3 이 프레임워크는 비준수 상황, 특히 LATE 추정 맥락에서 어떻게 확장될 수 있는가?
• RQ4 헤드스타트 영향 연구와 같은 대규모 랜덤화 시험에서 체계적 치료 효과 변동성에 대한 실증적 증거는 무엇인가?
• RQ5 비준수의 영향은 전체 치료 효과 변동성에 어떻게 기여하며, 그 영향은 어떻게 분리하고 측정할 수 있는가?

주요 결과

• 체계적 치료 효과 변동성에 대한 랜덤화 기반 추정량은 상호작용 항이 포함된 이단계 최소제곱법(2SLS) 추정량과 거의 동일한 형태를 가지며, 랜덤화 기반 추론과 모델 기반 추론 간의 다리를 놓는다.
• 헤드스타트 영향 연구에서 체계적 변동성에 대한 종합적 검정은 랜덤화 기반 p-값 0.02와 2SLS 기반 p-값 0.01을 기록하여, 준수자 그룹 내에서 체계적 변동성에 강력한 증거를 제시한다.
• 헤드스타트 연구에서 준수자 그룹 내에서 설명된 변동성에 대한 R² 측정법은 0.05에서 0.68 사이로 변동하며, 공변량만으로는 설명되지 않는 상당한 이질성이 있음을 시사한다.
• 비준수로 인한 치료 효과 변동성(R²_U)은 상대적으로 작으며, 0.01에서 0.16 사이로 변동하여 전체 변동성에 기여하는 정도가 미미하다는 것을 시사한다.
• 전반적인 분해 결과에서 R²_τ,UX(공변량과 비준수에 의해 설명된 부분)는 R²_τ,c(공변량에 의해 설명된 부분)에 매우 가까운데, 이는 대부분의 설명되지 않은 변동성이 비특이적 성분임을 시사한다.
• 실증 결과는 공변량이나 비준수에 의해 설명되지 않는 치료 효과 변동성의 상당 부분이 남아 있음을 확인하며, Ding 등(2016)의 이전 연구 결과와 일치한다.