[논문 리뷰] An Exact and Robust Conformal Inference Method for Counterfactual and Synthetic Controls

Victor Chernozhukov, Kaspar Wüthrich외 1명|arXiv (Cornell University)|2017. 12. 25.

Advanced Causal Inference Techniques인용 수 15

한 줄 요약

이 논문은 약한 조건 하에서도 정확하고 강건하며 모델에 종속되지 않는 추론을 보장하는 새로운 공형 추론 방법을 제안한다. 인과 추론 문제를 예측 및 구조적 변화 검정 문제로 재정의함으로써 잔차에서 얻은 순열 기반 p-값을 사용하여, 모형이 잘못 설정된 경우에도 유한 표본에서 유효한 추론을 제공한다. 이는 합성 통제, 요인 모델, 제약 조건이 있는 라소와 같은 다양한 추정기에서 작은 표본에서도 뛰어난 성능을 보인다.

ABSTRACT

We introduce new inference procedures for counterfactual and synthetic control methods for policy evaluation. We recast the causal inference problem as a counterfactual prediction and a structural breaks testing problem. This allows us to exploit insights from conformal prediction and structural breaks testing to develop permutation inference procedures that accommodate modern high-dimensional estimators, are valid under weak and easy-to-verify conditions, and are provably robust against misspecification. Our methods work in conjunction with many different approaches for predicting counterfactual mean outcomes in the absence of the policy intervention. Examples include synthetic controls, difference-in-differences, factor and matrix completion models, and (fused) time series panel data models. Our approach demonstrates an excellent small-sample performance in simulations and is taken to a data application where we re-evaluate the consequences of decriminalizing indoor prostitution. Open-source software for implementing our conformal inference methods is available.

연구 동기 및 목표

• 정책 평가를 위한 일반적이고 강건한 추론 절차를 개발하기 위해.
• 반사적 결과에 대한 모형이 잘못 설정된 경우에도 약하고 검증 가능한 조건 하에서 유효한 추론을 보장하기 위해.
• 요인 모델, 행렬 완성, 제약 조건이 있는 라소와 같은 현대적 고차원 추정기와 함께 추론을 가능하게 하기 위해.
• 유한 표본(비점근적) 유효성을 확보하여, 작은 표본에서 전통적인 점근적 근사보다 개선된 성능을 달성하기 위해.
• 모든 기존의 CSC 방법을 하나의 공형 추론 프레임워크로 통합하고, 증명 가능한 강건성을 확보하기 위해.

제안 방법

• 인과 추론 문제를 반사적 예측 및 구조적 변화 검정 문제로 재정의하기 위해.
• 시간에 따라 추정 잔차의 블록을 무작위로 재배치하여 순열 기반 추론을 수행하고 p-값을 계산하기 위해.
• 명백한 귀무가설 하에서 치료 후 잔차의 분포를 치료 전 잔차와 비교하여 검정 통계량을 구성하기 위해.
• 두 가지 조건 하에서 유효성을 확보하기 위해: (1) 추정기 일致성과 약한 종속성 오차, 또는 (2) 추정기 안정성과 오차가 오차가 없는 경우의 정적 상태 데이터.
• 합성 통제, 차이의 차이, 요인 모델, 행렬 완성, 상호작용 고정효과 모델 등 다양한 CSC 추정기들에 이 방법을 적용하기 위해.
• 검정 역전을 통해 각 기간의 정책 효과에 대한 점별 신뢰구간을 구성하기 위해.

실험 결과

연구 질문

• RQ1 약하고 검증 가능한 정규성 조건 하에서 유효한 일반적인 반사적 및 합성 통제를 위한 추론 방법을 개발할 수 있는가?
• RQ2 고차원 CSC 환경에서 모형 오류 설정에 대해 어떻게 강건성을 확보할 수 있는가?
• RQ3 특히 표본 크기가 작은 경우에 정책 효과에 대한 추론에서 유한 표본 유효성을 달성할 수 있는가?
• RQ4 합성 통제, 요인 모델, 제약 조건이 있는 라소와 같은 다양한 추정기에서 제안된 방법의 성능은 어떠한가?
• RQ5 구조적 변화 탐지 및 명백한 귀무가설 검정에서 이론적 성능은 어떻게 나타나는가?

주요 결과

• 제안된 방법은 사전 치료 기간 수 $T_0 \to \infty$ 가 되면서 정확한 유한 표본 유효성을 확보하며, 크기 정확성에 대한 비점근적 경계를 제공한다.
• 추정기 일치성과 약한 종속성 오차 조건 하에서, 모든 DGP 설계와 $T_0$ 값에서 방법이 정확한 크기(예: 명목 수준 $\alpha=0.1$ 에서 0.10–0.12)를 유지한다.
• 모형 오류 설정 조건 하에서도 추정기가 안정적이고 자료가 정적 상태일 경우, 방법은 유효성을 유지하며 DGP2 및 DGP3에서 크기 수준이 명목 수준에 가까운 (예: 0.08–0.12) 결과를 보인다.
• 시계열 상관 오차($\rho_u = 0.6$)가 존재하는 환경에서는 방법이 양호한 크기 제어를 유지하며(예: 0.10–0.12), 기존 방법보다 더 뛰어난 강건성을 보인다.
• 구조적 변화 탐지에서 높은 검정력이 나타나며, AR(1) 오차 조건 하에서 DGP4에서 $T_0$ 가 20에서 100으로 증가함에 따라 기각률이 0.35에서 0.89로 증가한다.
• 실제 정책 평가에 응용한 결과, 실내 매춘의 비범죄화 정책에 대한 적용 사례에서 이론적 실용성과 강건성을 입증하였다.