[논문 리뷰] The Econometrics of Randomized Experiments

Susan Athey, Guido W. Imbens|RePEc: Research Papers in Economics|2016. 07. 03.

Advanced Causal Inference Techniques인용 수 14

한 줄 요약

이 논문은 랜덤화 실험에서 랜덤화 기반 추론을 지지하며, 불확실성은 모집단에서의 표본 추출이 아니라 치료 배정에 기인한다는 점을 강조한다. 이는 이질적 치료 효과, 비준수, 군집화, 네트워크 간섭을 분석하기 위한 방법을 제시하며, 분류 및 인공 실험을 통해 모델 가정 없이도 타당한 추론이 가능하다는 것을 보여준다.

ABSTRACT

In this review, we present econometric and statistical methods for analyzing randomized experiments. For basic experiments we stress randomization-based inference as opposed to sampling-based inference. In randomization-based inference, uncertainty in estimates arises naturally from the random assignment of the treatments, rather than from hypothesized sampling from a large population. We show how this perspective relates to regression analyses for randomized experiments. We discuss the analyses of stratified, paired, and clustered randomized experiments, and we stress the general efficiency gains from stratification. We also discuss complications in randomized experiments such as non-compliance. In the presence of non-compliance we contrast intention-to-treat analyses with instrumental variables analyses allowing for general treatment effect heterogeneity. We consider in detail estimation and inference for heterogeneous treatment effects in settings with (possibly many) covariates. These methods allow researchers to explore heterogeneity by identifying subpopulations with different treatment effects while maintaining the ability to construct valid confidence intervals. We also discuss optimal assignment to treatment based on covariates in such settings. Finally, we discuss estimation and inference in experiments in settings with interactions between units, both in general network settings and in settings where the population is partitioned into groups with all interactions contained within these groups.

연구 동기 및 목표

• 랜덤화 기반 추론을 랜덤화 실험에서 인과 추론을 위한 선호되는 프레임워크로 정립하고, 전통적인 표본 기반 접근과 대비한다.
• 치료 효과 이질성, 비준수, 네트워크화되거나 군집화된 단위에서의 간섭과 같은 실험 설계 및 분석의 과제를 다룬다.
• 공변량을 사용하여 이질적 치료 효과를 추정하고 신뢰구간을 구성하기 위한 방법을 제공하며, 랜덤화 하에 유효성을 유지한다.
• 인공 실험과 랜덤화 분포를 사용하여 네트워크 간섭에 대한 추론 절차를 개발하며, 동료 효과 및 고차원 상호작용을 테스트한다.
• 공변량을 기반으로 한 최적의 치료 배정을 안내하면서도 타당한 통계적 추론을 유지한다.

제안 방법

• 고정된 잠재 결과와 랜덤 치료 배정을 사용하여 인과 효과를 정의하는 잠재 결과 프레임워크를 사용한다.
• 랜덤화 기반 추론을 적용하여, 검정 통계량의 표본 분포를 대규모 표본 근사가 아닌 랜덤화 메커니즘에서 유도한다.
• 추정 효율성을 높이고 치료 효과 추정의 분산을 줄이기 위해 분류 및 쌍별 랜덤화를 활용한다.
• 중점, 버퍼, 보조 단위를 포함한 인공 실험을 사용하여 직접 효과를 가정하지 않고 동료 효과(예: 친구의 친구)에 대한 가설을 테스트한다.
• 특히 단일 네트워크 또는 소표본 설정에서 점근 근사에 의존하는 것을 피하기 위해 정확한 랜덤화 검정을 적용한다.
• 랜덤화 기반 추론과 회귀 모델을 통합하여, 추가 가정 없이도 언제 그리고 어떻게 그들이 정당화되는지 보여준다.

실험 결과

연구 질문

• RQ1 표본 기반 점근 근사에 의존하지 않고도 랜덤화 실험에서 타당한 추론을 어떻게 수행할 수 있는가?
• RQ2 공변량을 고려한 실험 설계에서 가장 효율적인 방법은 무엇이며, 분류가 추정 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 공변량이 존재할 때 치료 효과 이질성을 어떻게 추정하고 테스트할 수 있으며, 유효한 신뢰구간을 유지할 수 있는가?
• RQ4 비준수를 다루기 위한 적절한 방법은 무엇이며, 일반적인 치료 효과 이질성 하에서 의도에 따른 치료와 도구 변수 접근 방식은 어떻게 비교할 수 있는가?
• RQ5 친구나 친구의 친구로부터 비롯된 동료 효과와 같은 네트워크 간섭은 어떻게 랜덤화 기반 추론을 통해 테스트할 수 있는가?

주요 결과

• 랜덤화 기반 추론은 모델 기반 접근 방식에서 요구하는 가정 없이도 랜덤화 실험에서 추론에 대해 타당하고 직접적인 정당성을 제공한다.
• 분류 및 쌍별 랜덤화는 치료 효과 추정의 분산을 줄임으로써 추정 효율성을 크게 향상시킨다.
• 보조, 버퍼, 중점 단위를 포함한 인공 실험을 통해 직접 효과를 가정하지 않고도 간접적인 동료 효과에 대한 가설을 정확하게 테스트할 수 있다.
• 네트워크 간섭에 대한 정확한 랜덤화 검정은 실현 가능하고 강건하며, 특히 네트워크 구조로 인해 점근 근사가 부적절한 경우 유용하다.
• 랜덤화 기반 추론을 통해 공변량을 고려한 이질적 치료 효과 추정이 가능하며, 유효한 신뢰구간을 유지할 수 있다.
• 배정 메커니즘이 알려져 있고 랜덤화 원칙을 준수하는 한, 공변량을 기반으로 한 최적의 치료 배정은 추론의 타당성을 훼손하지 않고도 달성할 수 있다.