[논문 리뷰] A Unified Theory of Regression Adjustment for Design-based Inference

Joel A. Middleton|arXiv (Cornell University)|2018. 03. 15.

Advanced Causal Inference Techniques인용 수 12

한 줄 요약

이 논문은 임의의 설계를 가진 랜덤화 실험에서 회귀 조정을 위한 통합 프레임워크를 개발하며, 호르비츠-스미스 가중치와 재귀적 일반화된 회귀 기반의 두 개의 점차적 최적 추정량을 제안하여 표준 OLS보다 정밀도를 향상시킨다. 더 날카운 가중분산 경계를 유도하고 시뮬레이션을 통해 클러스터 랜덤화 설계에서 평균제곱오차(MSE)를 최대 60%까지 감소시킬 수 있음을 보여준다.

ABSTRACT

Under the Neyman causal model, it is well-known that OLS with treatment-by-covariate interactions cannot harm asymptotic precision of estimated treatment effects in completely randomized experiments. But do such guarantees extend to experiments with more complex designs? This paper proposes a general framework for addressing this question and defines a class of generalized regression estimators that are applicable to experiments of any design. The class subsumes common estimators (e.g., OLS). Within that class, two novel estimators are proposed that are applicable to arbitrary designs and asymptotically optimal. The first is composed of three Horvitz-Thompson estimators. The second recursively applies the principle of generalized regression estimation to obtain regression-adjusted regression adjustment. Additionally, variance bounds are derived that are tighter than those existing in the literature for arbitrary designs. Finally, a simulation study illustrates the potential for MSE improvements.

연구 동기 및 목표

• 완전 랜덤화를 초월한 복잡한 실험 설계에서의 회귀 조정에 대한 일반적인 이론적 보장이 부족한 문제를 해결하기 위해.
• 네이먼-루빈 인과 모델 하에서 클러스터, 블록, 네트워크 기반 설계를 포함한 모든 설계에 적용 가능한 일반적 프레임워크를 개발하기 위해.
• 일반적으로 적용 가능하고 추정 정밀도를 향상시키는 두 개의 점차적 최적 회귀 추정량을 제안하기 위해.
• 임의의 설계에 대해 설계 기반 추론을 위한 더 날카운 가중분산 경계를 도출하기 위해.
• 시뮬레이션을 통해 제안된 추정량을 사용할 경우 평균제곱오차(MSE)가 상당히 감소할 수 있음을 보여주기 위해.

제안 방법

• 모든 설계에 적용 가능한 일반화된 회귀 추정량 클래스를 제안하며, 이는 OLS를 포함하고, 압축된 유도를 위한 통일된 표기법을 사용한다.
• 세 개의 호르비츠-스미스 추정량을 조합한 새로운 추정량과 재귀적 일반화된 회귀 추정을 사용하는 다른 추정량을 도입한다.
• 호르비츠-스미스 원리(역확률가중치화)와 일반화된 회귀 원리를 재귀적으로 적용하여 점차적 최적성을 달성한다.
• 재매개변수화된 설계 기반 프레임워크를 사용하여 가중분산 경계를 도출하며, 기존 문헌의 경계를 향상시킨다.
• 클러스터 랜덤화 실험의 5,000회 랜덤화를 포함한 시뮬레이션 연구를 수행하여 다양한 공변량 사양에서 추정량 성능을 비교한다.
• 클러스터별 랜덤 효과와 이질분산 오차를 포함하는 유한모집단 데이터 생성 과정을 사용하여 현실적인 실험 조건을 반영한다.

실험 결과

연구 질문

• RQ1 완전 랜덤화를 초월한 복잡한 설계를 가진 실험에서, 치료-공변량 상호작용을 포함한 회귀 조정이 점차적 정밀도를 유지하거나 향상시킬 수 있는가?
• RQ2 임의의 설계에서 점차적 최적이 되는 일반적인 형태의 회귀 추정량은 무엇인가?
• RQ3 임의의 설계에 대해 회귀 조정된 추정량의 가중분산 경계를 어떻게 더 날카롭게 만들 수 있는가?
• RQ4 제안된 추정량이 복잡한 설계에서 표준 OLS보다 평균제곱오차(MSE) 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 모형 잘못 설정과 과적합이 클러스터 랜덤화 실험에서 회귀 조정된 추정량의 성능에 어떤 영향을 미치는가?

주요 결과

• 시뮬레이션에서 첫 번째 두 공변량 사양(x 및 x, xc)에서 제안된 2R! 추정량(재귀적 회귀 조정)이 WLS/OLS 대비 약 60%의 MSE 감소를 보였다.
• 세 번째 사양(x, xc, nc)에서는 2R! 추정량이 기준 WLS/OLS 추정량보다 약 13% 낮은 MSE를 달성했다.
• 마지막 사양(x, xc, nc, n²c)에서는 2R!와 WLS/OLS가 유사한 MSE를 보였지만, 세 번째 사양에 비해 MSE가 증가했으며, 이는 모형 과적합을 시사했다.
• 3HT! 추정량은 전반적으로 성능이 열악했으며, 특히 초기 사양에서 높은 편향으로 인해 MSE가 크게 높았다.
• 클러스터 총합을 사용한 OLS는 초기 사양에서 잘 성능을 보였으며, WLS/OLS 대비 약 60%의 MSE 감소를 기록했다.
• 논문에서 유도한 이론적 가중분산 경계는 기존 문헌의 경계보다 임의의 설계, 특히 클러스터 랜덤화 하에서 더 날카로웠다.