[논문 리뷰] Exact tests for two-stage randomized designs in the presence of interference

Guillaume Basse, Avi Feller외 1명|arXiv (Cornell University)|2017. 09. 23.

Advanced Causal Inference Techniques참고 문헌 11인용 수 9

한 줄 요약

이 논문은 간섭이 존재하는 이단계 랜덤화 설계에서 조건부 랜덤화 검정을 위한 유연한 프레임워크를 제안한다. 여기서 한 단위의 치료 효과가 다른 단위에 영향을 미친다. 전통적인 분할 방식이 아닌 구조적 할당 부분집합에 조건을 두어, 날카로운 귀무가설 하에서 유효성을 유지하면서 통계적 검정력(유의도)을 높인다. 필라델피아의 학생 결석률에 대한 연구에서 이를 입증하였다.

ABSTRACT

Many important causal questions address interactions between units, also known as interference, such as interactions between individuals in households, students in schools, and firms in markets. Standard methods, however, often break down in this setting. In particular, randomization tests for statistical hypotheses on treatment effects are challenging because such hypotheses are typically not sharp in the presence of interference. One approach is to conduct randomization tests conditional on a subset of units and assignments, such that the null hypothesis is sharp. While promising, existing approaches require such conditioning to be based on an inflexible partition of the space of treatment assignments, which usually leads to loss of power. In this paper, we propose a general framework for conditional randomization tests that supports more flexible conditioning, allowing us to leverage more structure from the problem and increase power. Our framework subsumes standard results in conditional randomization testing and also formalizes recent randomization tests in the presence of interference. We detail our framework for two-stage randomized designs, and illustrate our approach with an analysis of a randomized evaluation of an intervention targeting student absenteeism in the School District of Philadelphia.

연구 동기 및 목표

• 간섭이 존재할 경우, 표준 랜덤화 검정이 날카로운 귀무가설이 아니기 때문에 치료 효과를 테스트하는 데 어려움이 존재하는 문제를 다루기 위해.
• 기존의 조건부 랜덤화 검정이 고정된 분할 방식에 의존함으로써 유연성이 떨어지므로, 이를 보완할 수 있는 더 강력한 대안을 개발하기 위해.
• 최근의 간섭 환경에서의 랜덤화 검정을 통합적이고 구조 인식 가능한 프레임워크를 통해 체계화하고 일반화하기 위해.
• 교육 및 공중보건 분야에서 흔히 발생하는 간섭이 존재하는 이단계 랜덤화 실험에 프레임워크를 적용하기 위해.
• 필라델피아의 학생 결석률 개선 프로그램에 대한 실제 평가를 통해 본 방법의 실용적 유용성을 입증하기 위해.

제안 방법

• 특정 단위와 치료 할당 부분집합에 조건을 두는 조건부 랜덤화 검정을 사용하여, 귀무가설이 날카로워지도록 보장한다.
• 고정되거나 임의의 분할이 아닌, 간섭 네트워크의 구조적 특징에 기반한 더 유연한 조건부 메커니즘을 도입한다.
• 이중 단계 랜덤화 실험의 설계 구조를 활용하여, 유의도 제어를 유지하는 정보가 풍부한 조건부 집합을 식별한다.
• 설계의 랜덤화 메커니즘과 조건부 집합 선택 간의 관계를 체계화하여 검정력을 극대화한다.
• 기존의 표준 랜덤화 검정을 일반화하고 최근의 간섭 환경에서의 방법들을 포함하여 통합적인 이론적 기반을 제공한다.
• 조건부 랜덤화 하에서 귀무분포를 근사하기 위해 몬테카를로 샘플링을 통해 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 간섭이 존재하는 상황에서 유효하고 강력한 조건부 랜덤화 검정을 설계할 수 있는가?
• RQ2 어떤 간섭 네트워크의 구조적 특징을 활용하면 랜덤화 검정의 검정력을 향상시킬 수 있는가?
• RQ3 치료 할당 부분집합에 대한 탄력 있는 조건부 설정은 고정된 분할 방식에 비해 통계적 검정력에서 어떻게 비교되는가?
• RQ4 제안된 프레임워크는 간섭이 존재하는 실제 이단계 랜덤화 실험에 적용될 수 있는가?
• RQ5 조건부 설정 전략은 간섭 상황에서의 인과 추론에서 유의도 오류율과 검정력에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 치료 할당 부분집합에 대해 더 정보가 풍부하고 탄력 있는 조건부 설정을 允허함으로써 기존 방법보다 통계적 검정력을 높인다.
• 조건부 귀무가설이 날카로워지도록 보장함으로써, 날카로운 귀무가설 하에서 정확한 제1종 오류 제어를 유지한다.
• 프레임워크는 최근의 간섭 환경에서의 랜덤화 검정을 일반화하고 체계화하여 통합적인 이론적 기반을 제공한다.
• 필라델피아의 결석률 연구에서, 본 방법은 표준 방법보다 더 민감하게 치료 효과를 탐지하였다.
• 실제 간섭 네트워크에 기반한 구조적 조건부 설정은 비구조적 또는 분할 기반 조건부 설정보다 더 강력한 검정을 이끌어냈다.
• 프레임워크는 계산적으로 실현 가능하며, 간섭이 존재하는 대규모 이단계 랜덤화 실험에 대해 확장 가능한 성능을 보였다.