[논문 리뷰] Designing Representative and Balanced Experiments by Local Randomization

Max Cytrynbaum|arXiv (Cornell University)|2021. 01. 01.

Advanced Causal Inference Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 이중 단계 설계에서 대표성 있고 균형 잡힌 실험 설계를 위한 통합 프레임워크인 국소 랜덤화를 소개한다. 기초 공변량을 활용해 참가자를 선별하고 치료를 배정함으로써 효과적 표본 크기를 증가시키고, 모델에 의존하지 않는 회귀 조정을 가능하게 하여 더 효율적인 추정기와 더 좁은 신뢰구간을 갖는 점근적으로 정확한 추론을 가능하게 한다.

ABSTRACT

This paper studies treatment effect estimation in a novel two-stage model of experimentation. In the first stage, using baseline covariates, the researcher selects units to participate in the experiment from a sample of eligible units. Next, they assign each selected unit to one of two treatment arms. We relate estimator efficiency to representative selection of participants and balanced assignment of treatments. We define a new family of local randomization procedures, which can be used for both selection and assignment. This family nests stratified block randomization and matched pairs, the most commonly used designs in practice in development economics, but also produces many useful new designs, embedding them in a unified framework. When used to select representative units into the experiment, local randomization boosts effective sample size, making estimators behave as if they were estimated using a larger experiment. When used for treatment assignment, local randomization does model-free non-parametric regression adjustment by design. We give novel asymptotically exact inference methods for locally randomized selection and assignment, allowing experimenters to report smaller confidence intervals if they designed a representative experiment. We apply our methods to the setting of two-wave design, where the researcher has access to a pilot study when designing the main experiment. We use local randomization methods to give the first fully efficient solution to this problem.

연구 동기 및 목표

• 기초 공변량에 따라 단위를 선별하고 배정하는 실험 설계에서의 비효율성과 대표성 부족 문제를 해결하기 위해.
• 표층 블록 랜덤화와 매칭된 쌍과 같은 일반적인 설계들을 선별 및 배정을 위한 단일 프레임워크 내에 통합하기 위해.
• 대표적인 선별을 통해 효과적 표본 크기를 증가시켜 추정기 효율을 향상시키기 위해.
• 치료 배정 단계에서 설계를 통해 모델에 의존하지 않는 비모수적 회귀 조정을 가능하게 하기 위해.
• 대표적인 설계가 되도록 실험을 구성했을 때, 점근적으로 정확한 추론 방법을 개발하여 더 좁은 신뢰구간을 제공하기 위해.

제안 방법

• 기초 공변량을 사용해 국소 이웃을 정의함으로써 선별 및 배정을 위한 국소 랜덤화 절차의 가족을 제안한다.
• 공변량 공간에서의 근접도에 기반한 선별 및 배정 규칙을 정의하여 대표성과 균형을 모두 확보한다.
• 표층 블록 랜덤화와 매칭된 쌍을 국소 랜덤화 프레임워크 내의 특수한 경우로 통합한다.
• 설계를 통해 비모수적 회귀 조정을 실현함으로써 사후 모델링이 필요 없도록 한다.
• 국소 랜덤화 하에서 선별 및 배정에 대해 점근적으로 정확한 추론 절차를 유도한다.
• 파ilot 데이터가 메인 실험의 선별 및 배정을 안내하는 이중파 설계에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 기초 공변량에 따라 선별된 단위가 목표 인구집단의 대표성을 갖는 同시에 치료 균형을 유지할 수 있는가?
• RQ2 기존에 널리 쓰이는 설계들인 매칭된 쌍과 블록 랜덤화를 통합할 수 있는 통합 프레임워크는 무엇인가? 이 프레임워크는 새로운 효율적인 대안을 제공할 수 있는가?
• RQ3 국소 랜덤화가 효과적 표본 크기를 얼마나 증가시키고 추정기 효율을 얼마나 향상시키는가?
• RQ4 국소 랜덤화를 통해 설계를 통해 모델에 의존하지 않는 비모수적 회귀 조정을 어떻게 달성할 수 있는가?
• RQ5 국소 랜덤화된 선별 및 배정에 대해 점근적으로 정확한 추론을 개발할 수 있는가? 이는 더 정밀한 신뢰구간을 초래하는가?

주요 결과

• 국소 랜덤화는 대표적인 선별을 통해 효과적 표본 크기를 증가시켜, 추정기가 더 큰 실험에서 유래된 것처럼 행동하게 한다.
• 이 방법은 설계를 통해 모델에 의존하지 않는 비모수적 회귀 조정을 가능하게 하여 사후 모델링 가정에 의존하지 않게 한다.
• 국소 랜덤화 하에서는 점근적으로 정확한 추론이 가능하여 실험자가 더 작고 신뢰할 수 있는 신뢰구간을 보고할 수 있다.
• 이 프레임워크는 파ilot 데이터가 메인 실험을 안내하는 이중파 설계 문제에 대해 처음으로 완전히 효율적인 해결책을 제공한다.
• 국소 랜덤화는 표준 설계인 매칭된 쌍과 블록 랜덤화를 포함하고 일반화하여 더 넓은 범위의 효율적인 대안을 제공한다.
• 잠재 결과나 선별 메커니즘에 대한 파rametric 모델링이 필요 없이도 추정기 효율을 향상시킬 수 있다.