[논문 리뷰] Conformal prediction intervals for the individual treatment effect

Danijel Kivaranovic, Robin Ristl외 2명|arXiv (Cornell University)|2020. 06. 02.

Statistical Methods and Inference참고 문헌 15인용 수 6

한 줄 요약

이 논문은 비모수적 회귀 설정에서 개인 치료 효과(ITE)에 대한 콫포멀 예측 구간을 제안하며, 유한 표본 또는 점근적 커버리지 보장을 제공하기 위해 콕포멀 추론 프레임워크를 사용한다. 큰 표본 크기에서 신경망과 같은 복잡한 모델이 선형 모델보다 더 좁은 예측 구간을 제공할 수 있음을 보여주며, 개인 맞춤 의료 결정을 위한 신뢰할 수 있는 불확실성 정량화를 가능하게 한다.

ABSTRACT

We propose several prediction intervals procedures for the individual treatment effect with either finite-sample or asymptotic coverage guarantee in a non-parametric regression setting, where non-linear regression functions, heteroskedasticity and non-Gaussianity are allowed. The construct the prediction intervals we use the conformal method of Vovk et al. (2005). In extensive simulations, we compare the coverage probability and interval length of our prediction interval procedures. We demonstrate that complex learning algorithms, such as neural networks, can lead to narrower prediction intervals than simple algorithms, such as linear regression, if the sample size is large enough.

연구 동기 및 목표

• 개인 맞춤 의료의 개인 치료 효과(ITE) 예측에 대한 신뢰할 수 있는 불확실성 정량화의 필요성을 해결하기 위해.
• 일반적인 비모수적 회귀 가정(비선형성, 이방성, 비정규 오차 포함) 하에서 유효한 커버리지 보장을 유지하는 ITE에 대한 예측 구간을 개발하기 위해.
• 치료 및 대조 조건에서의 잠재 결과의 차이에 대해 콕포멀 추론 프레임워크를 확장하여 관측되지 않은 반대 결과의 과제를 해결하기 위해.
• 다양한 시뮬레이션 설정에서 커버리지 확률과 구간 길이 측면에서 다양한 예측 구간 절차의 성능을 비교하기 위해.
• 신경망과 같은 복잡한 기계학습 모델이 커버리지 보장을 유지하면서도 구간 너비 측면에서 선형 회귀와 같은 단순 모델을 능가할 수 있는지 평가하기 위해.

제안 방법

• Vovk 등 (2005)의 콕포멀 예측 프레임워크를 사용하여 분포 가정 없이 개인 치료 효과에 대한 예측 구간을 구성한다.
• 치료 조건과 대조 조건에서의 결과를 별도로 회귀 모델(예: 선형, 신경망)로 모델링한 후, 예측치의 차이를 ITE 추정치로 계산한다.
• 두 단계의 콕포멀 절차를 활용한다: 첫째, 각 치료 조건에서의 결과에 대한 마진 예측 구간을 구성하고, 둘째, 예측치와 잔차의 차이를 사용하여 ITE에 대한 구간을 조합한다.
• 유한 표본 콕포멀 추론(정리 1 및 2)과 점근적 콕포멀 추론(정리 3)을 적용하며, 후자는 예측 절차의 일致성과 정규 오차 분포를 요구한다.
• 훈련 데이터에서 콕포멀 스코어의 분포를 활용하여 교환성 및 대칭성 논리를 통해 유효한 커버리지 보장을 확보한다.
• 점근적 설정에서 분할 샘플 접근법을 사용한다(정리 5): 훈련 세트는 모델을 피팅하는 데 사용되고, 검증 세트는 콕포멀 스코어를 계산하는 데 사용되어 조건부 교환성을 확보한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 반대 결과가 존재할 때 콕포멀 예측을 개인 치료 효과에 대한 유효한 예측 구간을 구성하는 데로 확장할 수 있는가?
• RQ2 신경망과 같은 복잡한 모델 기반 예측 구간이 유한 표본 또는 점근적 커버리지 보장을 유지하면서도 선형 모델보다 더 좁은 구간을 제공하는가?
• RQ3 커버리지와 구간 길이 측면에서 다양한 회귀 모델과 표본 크기에서 ITE에 대한 콕포멀 예측 구간의 성능은 어떻게 비교되는가?
• RQ4 점근적 콕포멀 구간이 커버리지를 유지하면서 더 짧은 길이를 가지는 데 필요한 이론적 조건은 무엇인가?
• RQ5 정규 오차와 모델 일치성 등의 가정이 결과 예측 구간의 너비와 유효성에 얼마나 영향을 미치는가?

주요 결과

• 제안된 개인 치료 효과에 대한 콕포멀 예측 구간은 비선형, 이방성, 비정규 오차가 존재하는 상황에서도 약한 가정 하에 정확한 유한 표본 커버리지를 달성한다.
• 점근적 콕포멀 구간(정리 3)은 예측 절차가 일치하고 오차가 약간 정규 분포를 띠는 한, 유한 표본 대비 상당히 더 짧은 구간을 제공한다.
• 시뮬레이션 결과에서 표본 크기가 충분히 클 경우 신경망이 선형 회귀보다 더 좁은 예측 구간을 생성함을 확인하여, 높은 표본 크기에서의 유연한 모델의 이점을 입증한다.
• 모든 시뮬레이션 설정에서 제안된 구간의 커버리지 확률은 명목 수준(예: 90% 또는 95%)에 매우 가까운 것으로 유지되어 콕포멀 프레임워크의 강건성을 확인한다.
• 이 방법은 ITE의 모델 추정 불확실성과 잔차 변동성을 모두 효과적으로 고려하여 완전한 불확실성 정량화 프레임워크를 제공한다.
• 이론적 보장은 결과 분포가 비정규이고 회귀 함수가 비선형인 경우에도 유지되며, 이는 실제 개인 맞춤 의료 설정에서 광범위하게 적용 가능함을 의미한다.