[논문 리뷰] Sensitivity Analysis of Individual Treatment Effects: A Robust Conformal Inference Approach

Ying Jin, Zhimei Ren외 1명|arXiv (Cornell University)|2021. 11. 23.

Advanced Causal Inference Techniques참고 문헌 42인용 수 4

한 줄 요약

이 논문은 측정되지 않은 혼란 요인 존재 하에서 개인 치료 효과(ITE)에 대한 모델 프리, 콫라프탈 인퍼런스 기반 프레임워크를 제안한다. 이는 양성 ITE를 설명하기 위해 필요한 최소한의 혼란 강도를 측정하는 \Gamma-값을 도입하여, 혼란이 존재하는 상황에서도 반사적 예측에 대해 유효한 마진 커버리지를 보장하며, 마진 감도 모델 하에서 이론적 보장을 제공한다.

ABSTRACT

We propose a model-free framework for sensitivity analysis of individual treatment effects (ITEs), building upon ideas from conformal inference. For any unit, our procedure reports the $Γ$-value, a number which quantifies the minimum strength of confounding needed to explain away the evidence for ITE. Our approach rests on the reliable predictive inference of counterfactuals and ITEs in situations where the training data is confounded. Under the marginal sensitivity model of Tan (2006), we characterize the shift between the distribution of the observations and that of the counterfactuals. We first develop a general method for predictive inference of test samples from a shifted distribution; we then leverage this to construct covariate-dependent prediction sets for counterfactuals. No matter the value of the shift, these prediction sets (resp. approximately) achieve marginal coverage if the propensity score is known exactly (resp. estimated). We describe a distinct procedure also attaining coverage, however, conditional on the training data. In the latter case, we prove a sharpness result showing that for certain classes of prediction problems, the prediction intervals cannot possibly be tightened. We verify the validity and performance of the new methods via simulation studies and apply them to analyze real datasets.

연구 동기 및 목표

• 측정되지 않은 혼란 요인이 존재하는 상황에서 개인 치료 효과(ITE)에 대한 모델 프리 프레임워크를 개발하는 것.
• 양성 ITE 예측을 무효화하기 위해 필요한 최소한의 혼란 강도를 특정하여 ITE 추론의 강건성을 정량화하는 것.
• 혼란으로 인한 분포 변화에 의해 발생하는 반사적 예측에 대해 마진 커버리지가 유효하게 유지되도록 보장하는 것.
• 권태도 점수가 정확히 알려져 있지 않은 상황에서도 유효한 인퍼런스를 유지하는 절차를 제공하는 것.
• 일부 조건 하에서 예측 간격이 더 이상 좁아들 수 없는 한계를 보여주는 날카운 결과를 제공하는 것.

제안 방법

• 측정되지 않은 혼란 요인이 존재할 때 관측 및 반사적 분포 간의 이탈을 기술하기 위해 마진 감도 모델(Tan, 2006)을 사용한다.
• 분포 이탈 상황에서의 예측 인퍼런스를 위한 일반적 방법을 개발하여 테스트 샘플에 대한 신뢰할 수 있는 반사적 예측을 가능하게 한다.
• 권태도 점수가 추정된 경우에도 근사적인 마진 커버리지를 달성하는 조건부 공변수 기반의 반사적 예측 집합과 ITE 예측 집합을 구성한다.
• 코프라탈 인퍼런스를 활용하여 가정된 이탈 모델 하에서 유효한 예측 간격을 생성하며, 커버리지에 대한 이론적 보장을 제공한다.
• 학습 데이터 기반 조건부 커버리지를 달성하는 별도의 절차를 도입하고, 예측 간격 최적성에 대한 날카운 결과를 증명한다.
• 가장 악성인 분포 이탈을 활용하여 반사적 기대값에 대한 날카로운 경계를 계산하고, 불확실성 하에서 강건한 인퍼런스를 가능하게 한다.

실험 결과

연구 질문

• RQ1 관찰 연구에서 측정되지 않은 혼란 요인이 개인 치료 효과 추정치에 미치는 영향을 어떻게 평가할 수 있는가?
• RQ2 특정 단위에 대해 양성 ITE 예측을 설명하기 위해 필요한 최소한의 측정되지 않은 혼란 강도는 얼마인가?
• RQ3 학습 데이터가 혼란되어 있고 무시 가능 가정이 성립하지 않을 때, 반사적 예측 및 ITE에 대해 유효한 예측 간격을 구성할 수 있는가?
• RQ4 제안된 방법은 추정된 권태도 점수 하에서 어떻게 커버리지를 유지하는가? 그리고 예측 간격의 날카움에 대한 이론적 한계는 무엇인가?
• RQ5 이 프레임워크는 다중 ITE에 대한 동시 인퍼런스와 적절한 오류 통제를 위해 확장될 수 있는가?

주요 결과

• 심리적 태도 개선 개입에 대한 실질 데이터셋을 바탕으로, 치료를 받은 테스트 샘플 중 20.46%가 \Gamma값이 1을 초과하여 경미한 혼란 조건 하에서도 양성 ITE에 대한 강건한 증거를 보였다.
• \Gamma=2일 때, 치료를 받은 테스트 샘플 중 6.80%만이 \Gamma값을 초과하여 중간 수준의 혼란 조건 하에서도 강력한 양성 ITE 증거가 유지됨을 보였다.
• 알고리즘 1을 사용할 경우, 테스트 샘플의 2%가 \Gamma값을 5 초과했고, 알고리즘 2를 사용할 경우 2.5%가 \Gamma값을 10 초과하여 일부 개인에 대해 매우 강건한 결과를 보였다.
• 이 방법은 혼란 강도 \Gamma 하에서 음성 ITE를 잘못 양성으로 분류할 확률이 \alpha=0.1 이하로 제한됨을 보장한다.
• 실증 평가 결과, \Gamma=1일 때 치료를 받은 테스트 샘플 중 오직 3.58%만이 잘못 양성 ITE로 분류되었으며, 높은 \Gamma 수준에서 오류율이 약간 증가하는 것으로 나타났다.
• 알고리즘 2는 혼란에 대한 더 강력한 증거를 제공했지만 알고리즘 1보다 덜 안정적이었으며, 두 방법 모두 이론적 보장 하에 유효한 커버리지를 유지했다.