[논문 리뷰] Optimal Stratification of Survey Experiments

Max Cytrynbaum|arXiv (Cornell University)|2021. 11. 16.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 논문은 조사 실험에서 대표성 있는 표본 추출과 균형 잡힌 처리 할당을 동시에 최적화하는 이단계 최적 분류 프레임워크를 제안한다. 처리 효과 이질성에 대한 공변수 적응 분류를 통해 분산을 최소화함으로써, 예산 제약 조건 하에서 비모수적 분산 감소와 渐近 효율성을 달성하며, 실제 응용 사례에서는 정밀도 향상이 뚜렷하게 나타난다.

ABSTRACT

This paper studies a two-stage model of experimentation, where the researcher first samples representative units from an eligible pool, then assigns each sampled unit to treatment or control. To implement balanced sampling and assignment, we introduce a new family of finely stratified designs that generalize matched pairs randomization to propensities p(x) not equal to 1/2. We show that two-stage stratification nonparametrically dampens the variance of treatment effect estimation. We formulate and solve the optimal stratification problem with heterogeneous costs and fixed budget, providing simple heuristics for the optimal design. In settings with pilot data, we show that implementing a consistent estimate of this design is also efficient, minimizing asymptotic variance subject to the budget constraint. We also provide new asymptotically exact inference methods, allowing experimenters to fully exploit the efficiency gains from both stratified sampling and assignment. An application to nine papers recently published in top economics journals demonstrates the value of our methods.

연구 동기 및 목표

• 조사를 통한 실험 설계의 비효율성 문제를 해결하기 위해, 표본 추출이 대표성이 없고 처리 할당이 균형 잡히지 않은 경우를 다루기 위함.
• 표본 추출과 처리 할당 단계를 동시에 최적화하여 처리 효과 추정의 분산을 최소화하는 통합 프레임워크를 개발하기 위함.
• 이질적인 비용에 대해 강건하며 고정된 실험 예산 하에서 효율적인 추론을 가능하게 하는 설계를 제공하기 위함.
• 예산 제약 조건 하에서 이질적인 표본 추출 및 할당 비율을 고려한 최적 설계 문제를 체계화하고 해결하기 위함.
• 분류된 표본 추출과 할당을 통해 달성 가능한 효율성의 전체 이점을 극대화하는 渐近 정확한 추론을 가능하게 하기 위함.

제안 방법

• 공변수 예측에 따라 처리 효과 이질성과 관련된 동질적 그룹을 기반으로 세밀하게 분류된 표본 추출을 사용하는 이단계 실험 설계를 제안.
• 표본 추정 효율성과 연관된 목적 함수를 최소화하는 데 초점을 맞춘 새로운 매칭 알고리즘을 사용하여 크기가 $k$인 동질적 그룹을 구성.
• 처리 할당을 위한 세밀한 분류된 랜덤화를 적용하여, 매칭된 쌍의 일반화로서 임의의 할당 확률 $p(x) \neq 1/2$를 허용.
• 분류 기반 조건부 독립성과 추론을 보장하는 국소 랜덤화 메커니즘을 도입.
• 고정된 예산 하에서 渐近 분산을 최소화하는 제약 조건 최적화 문제를 해결하여 최적의 표본 추출 강도 $q^*(x)$와 할당 비율 $p^*(x)$를 유도.
• 분류된 표본 추출과 할당을 모두 고려한 새로운 渐近 정확한 추론 방법을 개발하여, 복잡한 설계 조건 하에서도 타당한 추론을 가능하게 함.

실험 결과

연구 질문

• RQ1 표본 추출과 처리 할당을 동시에 최적화함으로써 처리 효과 추정의 분산을 어떻게 줄일 수 있는가?
• RQ2 비용이 단위 간으로 이질적이고 예산이 고정된 상황에서 표본 추출 및 할당 확률을 어떻게 최적화할 수 있는가?
• RQ3 처리 효과 이질성이 존재하는 상황에서 세밀한 분류 표본 추출이 단순 무작위 표본 추출보다 분산을 어떻게 줄이는가?
• RQ4 비모수적 분산 감소를 예산 제약 조건 하에서 최적화하는 일관된 설계 추정치를 실무적으로 효율적으로 구현할 수 있는가?
• RQ5 제안된 설계가 평균 처리 효과에 대해 Hahn (1998)의 분산 경계를 달성하는 조건은 무엇인가?

주요 결과

• 세밀한 분류 표본 추출은 처리 효과 이질성에 기인한 분산을 줄이며, 이 성분의 유효 표본 크기를 실제 실험 크기가 아닌 표본 추출 단위의 수에 따라 조정함으로써 효과를 발휘한다.
• 제안된 설계는 세밀한 분류 할당 조건 하에서 Hahn (1998)의 평균 처리 효과 분산 경계를 달성하며, 설계적으로 비모수적 회귀 보정을 효과적으로 수행한다.
• 표본 추출에 최적인 분류 변수는 처리 효과 이질성에 가장 예측력이 높은 변수이며, 이는 Bai (2022)의 결과를 확장한 것이다.
• 이질적인 비용 조건 하에서 최적의 표본 추출 강도 $q^*(x)$와 할당 비율 $p^*(x)$는 渐近 분산을 최소화하는 제약 조건 최적화 문제의 해로서 도출된다.
• 이 방법은 표본 추출과 할당 분류의 효율성 증가를 완전히 활용하는 渐近 정확한 추론을 가능하게 하며, 9편의 상위 경제학 저널 논문에 적용된 결과로 검증되었다.
• 실증 응용 결과로는 뚜렷한 효율성 향상이 나타났으며, 제안된 설계는 기존 실험 설계 대비 표준 오차를 상당히 감소시켰다.