[논문 리뷰] Conformal Inference of Counterfactuals and Individual Treatment Effects

Lihua Lei, Emmanuel J. Candès|arXiv (Cornell University)|2020. 06. 11.

Advanced Causal Inference Techniques참고 문헌 80인용 수 31

한 줄 요약

이 논문은 potential outcomes 프레임워크 하에서 반사실들 및 개인 처치 효과에 대한 유효한 예측 구간을 생성하기 위한 컨포멀 추론 프레임워크를 제시하며, 무작위 실험에서의 유한 샘플 커버리지 보장과 관찰 연구에서의 이중 강건 특성을 확보한다.

ABSTRACT

Evaluating treatment effect heterogeneity widely informs treatment decision making. At the moment, much emphasis is placed on the estimation of the conditional average treatment effect via flexible machine learning algorithms. While these methods enjoy some theoretical appeal in terms of consistency and convergence rates, they generally perform poorly in terms of uncertainty quantification. This is troubling since assessing risk is crucial for reliable decision-making in sensitive and uncertain environments. In this work, we propose a conformal inference-based approach that can produce reliable interval estimates for counterfactuals and individual treatment effects under the potential outcome framework. For completely randomized or stratified randomized experiments with perfect compliance, the intervals have guaranteed average coverage in finite samples regardless of the unknown data generating mechanism. For randomized experiments with ignorable compliance and general observational studies obeying the strong ignorability assumption, the intervals satisfy a doubly robust property which states the following: the average coverage is approximately controlled if either the propensity score or the conditional quantiles of potential outcomes can be estimated accurately. Numerical studies on both synthetic and real datasets empirically demonstrate that existing methods suffer from a significant coverage deficit even in simple models. In contrast, our methods achieve the desired coverage with reasonably short intervals.

연구 동기 및 목표

• ATE/CATE를 넘어 ITE에서 불확실성 정량화의 필요성을 제시한다.
• potential outcome 프레임워크 하에서 Y(1), Y(0), 그리고 Y(1)-Y(0)에 대한 구간 추정치를 구성하기 위한 컨포멀 추론 방법론을 개발한다.
• 무작위 실험에서의 유한 샘플 커버리지 보장과 관찰 설정에서의 이중 강건 커버리지를 제공한다.
• 공변량 이동하에서 가중된 컨포멀 추론을 이용한 반사실 추론을 다루고 일반화/수송 가능성 확장도 탐구한다.
• 기존 방법보다 향상된 커버리지를 보이고도 비교적 짧은 구간을 유지하는 경험적 성능을 보여준다.

제안 방법

• potential outcomes 하에서 Y(1), Y(0), 및 ITE에 대해 보장된 주변 커버리지를 갖는 예측 구간을 구성하기 위해 컨포멀 추론을 채택한다.
• 학습 및 대상 분포 간의 공변량 이동을 다루기 위해 가중된 분할 컨포멀 추론을 사용한다.
• 가중치를 성향 점수에 연결하고 ATE/ATT/ATC 및 일반화 가능성에 대한 시사점을 논의한다.
• 무작위 실험(알려진 성향이나 층화된 성향일 때)에 대한 유한 샘플 커버리지 보장을 증명하고, 어느 하나의 결과 모형이나 처치 모형이 정확할 때 이중 강건 커버리지를 보장한다.
• 섹션 5에서 논의된 것처럼 일반적 인과 추론 설정으로 프레임워크를 확장하고 인과 다이어그램 및 불변 예측을 포함한다.

실험 결과

연구 질문

• RQ1 무작위화와 강한 무시가능성 하에서 반사실적 결과와 ITE에 대한 유효하고 유한 샘플의 예측 구간을 구성할 수 있는가?
• RQ2 가중된 컨포멀 추론이 공변량 이동과 관찰 연구에 어떻게 적응하며 이중 강건 커버리지를 달성할 수 있는가?
• RQ3 Y(1), Y(0), 그리고 Y(1)-Y(0)에 대한 유효한 구간 추정을 달성하는 데 성향 점수와 중첩의 역할은 무엇인가?
• RQ4 일반화/수송 가능성 설정 및 기타 인과 프레임워크에 컨포멀 추론을 어떻게 확장할 수 있는가?
• RQ5 제안된 구간이 기존 불확실성 정량 방법에 비해 커버리지와 구간 폭에서 실용적인 개선을 제공하는가?

주요 결과

• 가중된 분할 컨포멀 추론은 무작위 시험과 관찰 연구에서 Y(1), Y(0), 및 ITE에 대한 유한 샘플 커버리지 보장을 제공하며, 이중 강건 특성을 갖는다: 성향 점수 또는 조건부 결과 분위수 중 어느 하나가 정확하면 대략적으로 유효한 커버리지를 얻는다.
• 완전히 무작위화되거나 완벽한 준수의 층화 무작위 실험에서 이 방법은 강한 모형 가정 없이도 유한 샘플에서 커버리지를 달성한다.
• 관찰 연구 또는 비완전 준수의 무작위 시험에서 성향 점수가 정확히 추정되거나 조건부 분위수가 정확히 추정되면 방법은 여전히 유효하다.
• 이 방법은 일반화/수송 가능성 설정으로 자연스럽게 확장되며 인과 다이어그램 및 불변 예측과 같은 다른 인과 프레임워크에 적응할 수 있다.
• 경험적 연구(합성 및 실제 데이터)는 기존 방법이 종종 커버리지 부족을 보이는 반면 제안된 컨포멀 구간이 원하는 커버리지를 달성하고 비교적 짧은 폭을 유지함을 보여준다.