[논문 리뷰] Policy design in experiments with unknown interference

Davide Viviano, Rudder, Jess|arXiv (Cornell University)|2020. 11. 16.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 간섭이 알려져 있지 않은 상황에서 정책 평가를 위한 실험 설계를 제안한다. 여기서 단위들은 관측되지 않는 네트워크 상호작용을 가진 군집으로 묶여 있다. 이는 스플로버를 고려한 마진효과를 추정하기 위한 단일 웨이브 실험과 복수 웨이브 실험을 통해 복지 최적화 정책 규칙을 학습하는 방법을 제안하며, 이론적 보장과 대규모 현장 실험에서의 실증 검증을 포함한다.

ABSTRACT

This paper studies experimental designs for estimation and inference on policies with spillover effects. Units are organized into a finite number of large clusters and interact in unknown ways within each cluster. First, we introduce a single-wave experiment that, by varying the randomization across cluster pairs, estimates the marginal effect of a change in treatment probabilities, taking spillover effects into account. Using the marginal effect, we propose a test for policy optimality. Second, we design a multiple-wave experiment to estimate welfare-maximizing treatment rules. We provide strong theoretical guarantees and an implementation in a large-scale field experiment.

연구 동기 및 목표

• 간섭 효과가 존재하지만 네트워크 구조가 알려져 있거나 측정되지 않은 상황에서 정책 설계의 과제를 해결하기 위해.
• 스플로버 패tern에 대한 지식이 제한된 상황에서도 복지 최적화 처리 규칙을 추정할 수 있는 실험 방법을 개발하기 위해.
• 관측되지 않는 네트워크 간섭이 존재하는 환경에서 추론과 정책 학습에 대한 이론적 보장을 제공하기 위해.
• 실세계 데이터를 사용한 대규모 현장 실험에 구현을 통해 제안된 방법을 검증하기 위해.
• 기본적인 처리 효과 추정과 간섭 하에서 복지 최적화 정책 설계 사이의 격차를 메우기 위해.

제안 방법

• 스플로버를 고려하면서도 군집 쌍 간의 처리 확률을 다양화하는 단일 웨이브 실험을 도입하여 마진 효과를 추정한다.
• 추정된 마진 효과를 바탕으로 정책 최적성에 대한 공식적 검증을 수행하며, 처리 확률 증가가 복지를 향상시키는지 테스트한다.
• 순차적 학습과 손실 최소화를 통해 적응적으로 최적의 처리 규칙을 학습하는 복수 웨이브 실험 설계를 제안한다.
• 수렴 보장을 갖춘 재스케일링 체계를 복수 웨이브 설계에 적용하며, $1/t$ 및 $1/\sqrt{t}$ 순서의 적응적 학습 속도를 사용한다.
• 이전 연구(예: Cai 등, 2015)의 실증 데이터를 활용해 스플로버 효과를 校정하여 현실적인 간섭 패턴을 시뮬레이션한다.
• Precision Development 및 파키스탄 경제연구센터의 데이터를 사용하여 파키스탄에서 대규모 현장 실험을 수행하였으며, IRB 승인 및 등록을 이행하였다.

실험 결과

연구 질문

• RQ1 알 수 없는 및 측정되지 않은 간섭 네트워크 하에서 실험 설계가 복지 최적화 처리 규칙을 어떻게 추정할 수 있는가?
• RQ2 스플로버를 고려하면서도 처리 확률 변화의 마진 효과에 대한 타당한 추론을 가능하게 하는 실험 설계는 무엇인가?
• RQ3 복수 웨이브 실험 설계는 손실과 수렴에 대한 이론적 보장 하에 최적의 처리 규칙을 학습할 수 있는가?
• RQ4 집단 크기와 집단 수가 증가함에 따라 정책 최적성 검정의 검정력은 어떻게 변화하는가?
• RQ5 기본 전략 대비 제안된 적응적 학습 방법을 사용했을 때의 상대적 복지 향상은 얼마인가?

주요 결과

• 단일 웨이브 실험은 다양한 집단 크기와 집단 수에서 5% 크기의 검정에 대해 90–97%의 커버리지 확보를 달성하며, 집단 크기와 집단 수가 증가할수록 검정력이 증가한다.
• 복수 웨이브 실험에서 $n=600$, $K=20$, $T=20$ 조건에서 평균 타당성 외 복지 향상은 최대 36.0%에 이를 수 있다.
• 모든 집단에 대한 최악의 내재 손실은 0.294–0.387 수준으로 감소하여, 가장 불리한 집단 구성 조건에서도 강건한 성능을 보였다.
• 모의 실험에서 $1/t$ 재스케일링을 사용한 적응적 학습 규칙이 비적응적 $1/\sqrt{t}$ 규칙보다 더 빠른 수렴과 낮은 손실을 달성하였다.
• 처리 확률을 10% 증가시켰을 때의 상대적 복지 향상은 강한 스플로버($\alpha=0.4$) 조건에서 가장 높았으며, 귀무가설 기각 시 최대 24.4%의 향상이 관찰되었다.
• Alatas 등(2012) 및 Cai 등(2015)의 실세계 데이터를 기반으로 校정된 모의 실험에서 제안된 방법은 최적의 처리 규칙을 성공적으로 식별하였으며, 실용적 관련성을 입증하였다.