[논문 리뷰] Optimal Rerandomization via a Criterion that Provides Insurance Against Failed Experiments

Adam Kapelner, Abba Μ. Krieger외 2명|arXiv (Cornell University)|2019. 05. 08.

Advanced Causal Inference Techniques참고 문헌 34인용 수 6

한 줄 요약

이 논문은 관측된 공변량의 불균형을 균형 잡는 동시에 미관측 공변량의 불균형 위험을 고려하여 추정기 오차를 최소화하는 최적의 재무작업 설계를 제안한다. 관측된 공변량의 맨할로비스 거리와 미관측 불균형에 대한 강건한 위험 측도를 조합한 기준을 사용하여, 최적의 재무작업 임계값을 식별함으로써 랜덤화 실험에서 실험 정밀도와 검정력을 향상시킨다.

ABSTRACT

We present an optimized rerandomization design procedure for a non-sequential treatment-control experiment. Randomized experiments are the gold standard for finding causal effects in nature. But sometimes random assignments result in unequal partitions of the treatment and control group visibly seen as imbalance in observed covariates. There can additionally be imbalance on unobserved covariates. Imbalance in either observed or unobserved covariates increases treatment effect estimator error inflating the width of confidence regions and reducing experimental power. "Rerandomization" is a strategy that omits poor imbalance assignments by limiting imbalance in the observed covariates to a prespecified threshold. However, limiting this threshold too much can increase the risk of contracting error from unobserved covariates. We introduce a criterion that combines observed imbalance while factoring in the risk of inadvertently imbalancing unobserved covariates. We then use this criterion to locate the optimal rerandomization threshold based on the practitioner's level of desired insurance against high estimator error. We demonstrate the gains of our designs in simulation and in a dataset from a large randomized experiment in education. We provide an open source R package available on CRAN named OptimalRerandExpDesigns which generates designs according to our algorithm.

연구 동기 및 목표

• 랜덤화 실험에서 공변량 불균형이 분산을 증가시키고 통계적 검정력을 감소시키는 문제를 해결하기 위해.
• 관측된 공변량 균형과 미관측 불균형의 위험 사이를 최적으로 트레이드오���하는 재무작업 전략을 개발하기 위해.
• 치료 효과 추정기 오차를 최소화하는 데 기여하는 원칙적이고 강건한 기준을 제안하여 재무작업 임계값을 선택하기 위해.
• 제안된 설계 하에서 타당한 통계적 추론(편향 없는 추정과 적절한 가설 검정)을 보장하기 위해.
• 임상 및 교육 실험 분야에서 실용적으로 적용 가능한 오픈소스 R 패키지를 통해 구현을 제공하기 위해.

제안 방법

• 관측된 공변량 불균형(맨할로비스 거리로 측정)과 미관측 공변량 불균형에 대한 위험 항목을 조합한 기준을 제안한다.
• 모형 잘못 설정 하에서 잠재적인 추정기 오차 분포의 강건한 근사치를 사용하며, 정규분포 또는 정규분포에서의 특정한 이탈을 가정한다.
• 관측된 불균형과 미관측 불균형의 위험을 균형 잡는 데 기여하는 기대 추정기 분산을 최소화하는 최적의 임계값 $a_*$를 찾기 위해 최적화를 적용한다.
• 균형 잡힌 완전 무작위 설계(BCRD)와 그레디 페어 스위칭 알고리즘을 포함하는 유연한 설계 공간을 활용하여 불균형 감소를 향상시킨다.
• 커널 기반의 거리 측도(예: 가우시안 커널)를 사용하여 공변량과 결과 간의 복잡한 비선형 관계를 모델링한다.
• R 패키지 `OptimalRerandExpDesigns`를 통해 최적의 재무작업 설계를 생성하는 소프트웨어 구현을 제공한다.

실험 결과

연구 질문

• RQ1 미관측 공변량 불균형을 고려할 때, 치료 효과 추정기 오차를 최소화하는 최적의 재무작업 임계값은 무엇인가?
• RQ2 표준 재무작업과 비교할 때 제안된 기준은 추정기 분산과 실험 검정력 측면에서 어떻게 성능을 발휘하는가?
• RQ3 모형 잘못 설정(예: 비정규 오차)은 최적의 재무작업 설계 성능에 어떤 영향을 미치는가?
• RQ4 그레디 페어 스위칭 알고리즘의 포함 여부는 최적 설계의 효율성과 강건성에 어떤 영향을 미치는가?
• RQ5 다양한 분포 가정 하에서 제안된 방법은 타당한 추론(편향 없는 추정과 올바른 I형 오류 비율)을 유지할 수 있는가?

주요 결과

• 제안된 기준은 특히 R²가 높거나 미관측 혼란 변수가 존재하는 설정에서 표준 재무작업에 비해 추정기 분산을 크게 감소시킨다.
• 최적의 임계값 $a_*$는 오차 분포의 정규성에서의 이탈에 대해 강건하며, 비정규 설정에서 정규성을 가정할 경우 성능 손실가 최소한이다.
• 시뮬레이션과 교육 실험의 실제 데이터 분석 결과, 이 방법은 실험 정밀도를 향상시키고 통계적 검정력을 증가시킨다.
• 저불균형 할당을 생성하기 위해 그레디 페어 스위칭 알고리즘을 포함함으로써 설계의 효율성을 향상시키면서도 무작위성은 훼손하지 않는다.
• R 패키지 `OptimalRerandExpDesigns`는 사용자가 최적의 재무작업 설계를 최소한의 계산 오버헤드로 구현할 수 있도록 한다.
• 이 방법은 임계값 $a$의 어떤 선택에도 타당한 통계적 추론(편향 없는 추정기와 적절한 크기의 검정)을 보장한다.