[논문 리뷰] Doubly Robust Calibration of Prediction Sets under Covariate Shift

Yachong Yang, Arun Kumar Kuchibhotla외 1명|arXiv (Cornell University)|2022. 03. 03.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 논문은 효율적 영향 함수와 기계학습 예측기들을 활용하여 공변량 이동 조건 하에서 잘 校정된 예측 집합을 구성하기 위한 双중 강건한 프레임워크를 제안한다. 만약 조정 확률 또는 조건부 응답 분포 중 하나라도 일致적으로 추정된다면 점점 더 유효한 커버리지가 보장되며, 모형 오류에 강건한 비교형 예측을 비교가능하지 않은 데이터로 확장한다.

ABSTRACT

Conformal prediction has received tremendous attention in recent years and has offered new solutions to problems in missing data and causal inference; yet these advances have not leveraged modern semiparametric efficiency theory for more robust and efficient uncertainty quantification. In this paper, we consider the problem of obtaining distribution-free prediction regions accounting for a shift in the distribution of the covariates between the training and test data. Under an explainable covariate shift assumption analogous to the standard missing at random assumption, we propose three variants of a general framework to construct well-calibrated prediction regions for the unobserved outcome in the test sample. Our approach is based on the efficient influence function for the quantile of the unobserved outcome in the test population combined with an arbitrary machine learning prediction algorithm, without compromising asymptotic coverage. Next, we extend our approach to account for departure from the explainable covariate shift assumption in a semiparametric sensitivity analysis for potential latent covariate shift. In all cases, we establish that the resulting prediction sets eventually attain nominal average coverage in large samples. This guarantee is a consequence of the product bias form of our proposal which implies correct coverage if either the propensity score or the conditional distribution of the response is estimated sufficiently well. Our results also provide a framework for construction of doubly robust prediction sets of individual treatment effects, under both unconfoundedness and allowing for some degree of unmeasured confounding. Finally, we discuss aggregation of prediction sets from different machine learning algorithms for optimal prediction and illustrate the performance of our methods in both synthetic and real data.

연구 동기 및 목표

• 학습 데이터의 공변량 분포와는 다를 수 있는 테스트 데이터의 공변량 분포를 가질 때 잘 校정된 예측 집합을 구성하는 데 도전하는 것.
• 두 개의 부수적 모델 중 하나(조정 확률 또는 조건부 응답)가 잘못 설정되어도 명목상 커버리지가 유지되는 방법을 개발하는 것.
• 반반형 예측을 비교가능하지 않은 데이터로 확장하기 위해 반반형 이론과 이중 강건 추정을 통합하는 것.
• 동일한 이론적 기반을 활용하여 무작위성 조건 하에서 개별 치료 효과의 예측 집합을 구성하는 프레임워크를 제공하는 것.
• 유의미한 공변량 이동 가정에서의 이격에 대한 민감도 분석을 가능하게 하기 위해 가능도 비율 매개변수화를 사용하는 것.

제안 방법

• 세 가지 변종인 Split, Full, 그리고 효율적 이중 강건 예측을 제안하며, 각각 기계학습과 이중 강건 추정을 조합한다.
• 테스트 집단에서의 결과 값의 분위수에 대한 효율적 영향 함수를 사용하여 예측 집합을 구성한다.
• 제품 편향 구조를 활용: 조정 확률 또는 조건부 응답 모델 중 하나라도 일치적으로 추정된다면 커버리지 오차가 사라진다.
• 해석 가능한 공변량 이동 가정 하에, 테스트와 학습 데이터의 공변량 밀도 비율에 기반한 가중치 체계를 통합한다.
• Yang과 Kuchibhotla(2021)의 EFCP(효율적 비교형 예측) 알고리즘을 수정하여 실증 성능을 향상시킨다.
• 다양한 기계학습 알고리즘의 예측 집합을 융합하여 강건성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 및 테스트 데이터의 공변량 분포가 다를 때, 예측 집합이 명목상 커버리지 유지가 가능한가?
• RQ2 제안된 방법이 커버리지에서 이중 강건성을 확보하는가? 즉, 조정 확률 또는 조건부 응답 모델 중 하나라도 일致적으로 추정된다면 정확한 커버리지가 유지되는가?
• RQ3 무작위성 조건 하에서 개별 치료 효과의 예측 집합을 구성하기 위해 이 프레임워크를 어떻게 확장할 수 있는가?
• RQ4 이 방법은 측정되지 않은 혼란 요인 또는 해석 가능한 공변량 이동 가정 위반에 대한 민감도 분석에 어떻게 적용할 수 있는가?
• RQ5 최적의 가중치와 영향 함수 이론을 통해 표준 교차 검증 방법보다 더 효율적으로 만들 수 있는가?

주요 결과

• 제안된 예측 집합은 최소한의 정규 조건 하에서 渐近적으로 유효한 커버리지를 달성하며, 커버리지 편향이 곱 형태를 띤다.
• 조정 확률 또는 조건부 응답 분포 중 하나라도 일致적으로 추정된다면 커버리지가 보장되며, 이는 이중 강건성을 보장한다.
• 효율적 이중 강건 예측 알고리즘은 최적의 예측 간격을 사전에 안다는 오라클에 비해 거의 동일한 효율성을 가지는 것으로 추측된다.
• 이 프레임워크는 무작위성 조건 하에서 개별 치료 효과 예측으로 자연스럽게 확장되며, 개인 수준의 불확실성 정량화를 가능하게 한다.
• 민감도 분석은 가능도 비율 매개변수화를 통해 통합될 수 있으며, 측정되지 않은 혼란 요인에 대한 강건성 평가가 가능하다.
• 합성 및 실제 데이터에서의 실증 결과는 특히 유한 표본에서 기준 방법보다 향상된 성능을 보였다.