[논문 리뷰] A New Central Limit Theorem for the Augmented IPW Estimator: Variance Inflation, Cross-Fit Covariance and Beyond

Kuanhao Jiang, Rajarshi Mukherjee외 2명|arXiv (Cornell University)|2022. 05. 20.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 고차원 설정에서 스파arsity 가정 없이 교차 적합된 보정된 역확률가중치(AIPW) 추정량에 대한 새로운 중심극한정리(CLT)를 수립한다. 이는 두 가지 핵심 현상을 드러낸다: 신호 대 잡음비에 따라 심각한 분산 증가와, 사전 교차 적합 추정량 간에 비노용한 점근적 공분산이며, 이는 고전적 점근적 이론에서 나타나지 않는다. 증명은 근사 메시지 전달, 결정론적 등가물, 그리고 한 개씩 제외하는 분석의 새로운 조합을 활용한다.

ABSTRACT

Estimation of the average treatment effect (ATE) is a central problem in causal inference. In recent times, inference for the ATE in the presence of high-dimensional covariates has been extensively studied. Among the diverse approaches that have been proposed, augmented inverse probability weighting (AIPW) with cross-fitting has emerged a popular choice in practice. In this work, we study this cross-fit AIPW estimator under well-specified outcome regression and propensity score models in a high-dimensional regime where the number of features and samples are both large and comparable. Under assumptions on the covariate distribution, we establish a new central limit theorem for the suitably scaled cross-fit AIPW that applies without any sparsity assumptions on the underlying high-dimensional parameters. Our CLT uncovers two crucial phenomena among others: (i) the AIPW exhibits a substantial variance inflation that can be precisely quantified in terms of the signal-to-noise ratio and other problem parameters, (ii) the asymptotic covariance between the pre-cross-fit estimators is non-negligible even on the root-n scale. These findings are strikingly different from their classical counterparts. On the technical front, our work utilizes a novel interplay between three distinct tools--approximate message passing theory, the theory of deterministic equivalents, and the leave-one-out approach. We believe our proof techniques should be useful for analyzing other two-stage estimators in this high-dimensional regime. Finally, we complement our theoretical results with simulations that demonstrate both the finite sample efficacy of our CLT and its robustness to our assumptions.

연구 동기 및 목표

• 특징 수와 표본 수가 크고 상호 유사한 고차원 설정에서 교차 적합 AIPW 추정량에 대한 새로운 중심극한정리를 수립하기 위해.
• 고차원 매개변수에 대한 스파arsity를 가정하지 않고도 잘 지정된 결과 회귀 및 성향스코어 모형 하에서 AIPW 추정량의 점근적 행동을 기술하기 위해.
• 두 가지 새로운 현상인 분산 증가와 사전 교차 적합 추정량 간의 비영인 점근적 공분산을 밝혀내고 정량화하기 위해.
• 고차원 환경에서 이차 추정량을 분석하기 위해 근사 메시지 전달, 결정론적 등가물, 그리고 한 개씩 제외하는 기법을 조합한 증명 프레임워크를 개발하기 위해.

제안 방법

• 경량 꼬리 분포를 가진 i.i.d. 공변량을 가진 고차원 점근적 설정 하에서, 교차 적합 AIPW 추정량에 대한 새로운 중심극한정리를 유도한다.
• 근사 메시지 전달 이론을 활용하여 AIPW 구성에서 사용된 리지 정규화 회귀 추정량의 고차원 행동을 분석한다.
• 결정론적 등가물 이론을 적용하여 고차원 회귀 계수를 포함하는 이차형식의 점근적 행동을 기술한다.
• 의존성 분리 및 이차 AIPW 프레임워크에서 추정 오차 제어를 위해 한 개씩 제외하는 접근법을 활용한다.
• 고차원 매개변수에 대한 스파arsity나 구조적 가정 없이도 일반적인 모멘트 조건 하에서 AIPW 추정량의 점근적 정규성을 확립한다.
• 점근적 분산과 공분산 구조에 대한 명시적 표현을 유도하며, 이는 신호 대 잡음비와 문제에 특화된 매개변수에 의존함을 보여준다.

실험 결과

연구 질문

• RQ1 스파arsity 가정 없이 고차원 설정에서 교차 적합 AIPW 추정량의 점근적 분포는 어떻게 행동하는가?
• RQ2 고차원 추정이 AIPW 추정량의 분산에 어떤 영향을 미치며, 이를 정량화할 수 있는가?
• RQ3 왜 AIPW의 사전 교차 적합 추정량은 고전 이론과는 달리 √n 척도에서 비영인 점근적 공분산을 보이는가?
• RQ4 이러한 고차원 현상을 반영하는 AIPW에 대해 새로운 중심극한정리를 수립할 수 있는가?
• RQ5 고차원 비스파arsity 환경에서 AIPW와 같은 이차 추정량을 분석하기 위해 필요한 새로운 기술 도구는 무엇인가?

주요 결과

• AIPW 추정량은 신호 대 잡음비와 기타 문제 매개변수에 따라 정확히 정량화 가능한 심각한 분산 증가를 보이며, 고전적 행동과 다름을 보인다.
• 사전 교차 적합 추정량 간의 점근적 공분산은 √n 척도에서 비영이며, 이는 고전적 점근적 이론이 반영하지 못한 현상이다.
• AIPW 추정량의 점근적 분포는 전통적인 의미에서 정규분포가 아니며, 부수적 매개변수 추정치의 공동분포에 의존한다.
• AIPW 추정량의 점근적 분산은 고전적 경우에 비해 증가하며, 이 증가 요인은 리지 정규화 매개변수와 설계 행렬의 공분산 구조에 따라 달라진다.
• 이론적 프레임워크는 시뮬레이션에서 관찰된 유한표본 행동을 성공적으로 반영하며, 모형 오지정 및 분포 가정에 대해 강건함을 보여준다.
• 근사 메시지 전달, 결정론적 등가물, 한 개씩 제외하는 분석을 조합한 증명 기법은 고차원 설정에서 다른 이차 추정량에도 일반화 가능하다.