[논문 리뷰] Conformal Prediction Under Covariate Shift

Ryan J. Tibshirani, Rina Foygel Barber외 2명|arXiv (Cornell University)|2019. 04. 12.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 53

한 줄 요약

이 논문은 가중된 비일관성 점수 분포를 사용하여 공변량 이동에 컨포멀(prediction) 예측 구간을 확장하고, 트레인과 테스트 공변量이 다를 때도Likelihood ratio가 알려져 있거나 unlabeled data에서 추정 가능한 경우 분포-자유 예측 구간을 가능하게 한다.

ABSTRACT

We extend conformal prediction methodology beyond the case of exchangeable data. In particular, we show that a weighted version of conformal prediction can be used to compute distribution-free prediction intervals for problems in which the test and training covariate distributions differ, but the likelihood ratio between these two distributions is known---or, in practice, can be estimated accurately with access to a large set of unlabeled data (test covariate points). Our weighted extension of conformal prediction also applies more generally, to settings in which the data satisfies a certain weighted notion of exchangeability. We discuss other potential applications of our new conformal methodology, including latent variable and missing data problems.

연구 동기 및 목표

• 훈련과 테스트 공변량이 다를 때(공변량 이동) 분포-자유 예측 구간을 제공한다.
• Likelihood-ratio weights를 사용하여 교환가능성 유사한 동작을 회복하는 가중된 컨포멀 예측 프레임워크를 개발한다.
• 가중 교환가능성 하에서의 이론적 보장을 제공하고 실용적 절차를 도출한다(가중 분할 컨포멀 포함).
• 실세계 데이터에서 접근법을 실험적으로 시연하고 unlabeled 데이터에서의 가중치 추정에 대해 논의한다(airfoil dataset).

제안 방법

• 기준 회귀 알고리즘과 점수 함수를 사용하여 비일관성 점수를 정의한다.
• 가중치 w(X)=dP̃X/dPX를 사용하여 비일관성 점수의 가중된 경험적 분포를 도입한다.
• 공변량 이동 하에서 가중된 분위수 기반 커버리지 보장을 증명한다(Corollary 1).
• 계산 효율성을 위한 가중 분할 컨포멀의 가중 버전을 제시한다.
• 레이블링된 데이터/비레이블 데이터에서 가중치 w(x)를 추정하는 방법(식 (7)-(12))을 통해 알려지지 않은 공변량 이동을 처리한다.
• 교환가능성의 일반화로서의 가중된 교환가능성과 이를 뒷받침하는 보조 보조정리(Lemmas 2-3)를 논의한다.

실험 결과

연구 질문

• RQ1 공변량 이동하에서 테스트 분포와 학습 분포가 다를 때 컨포멀 예측이 분포-자유 예측 구간을 제공할 수 있는가?
• RQ2 공변량 이동을 반영하고 교환가능성 유사 동작을 회복하기 위해 비일관성 점수를 어떻게 가중할 수 있는가?
• RQ3 레이블이 없는 데이터로부터 테스트-학습 공변량 분포 사이의 우도비를 실제로 어떻게 추정할 수 있는가?
• RQ4 공변량 이동이 커버리지와 구간 길이에 미치는 경험적 영향은 무엇이며, 가중 방법이 비가중 방법과 어떻게 비교되는가?
• RQ5 제안된 가중화 체계를 효율적으로 구현(분할 컨포멀을 통해)하고 가중된 교환가능성으로 확장할 수 있는가?

주요 결과

• Ordinary split conformal prediction은 공변량 이동 하에서 테스트 공변량이 비균일하게 이동되면 커버리지가 부족하다.
• Weighted split conformal with oracle weights는 공변량 이동 하에서 명목 커버리지를 회복하며(≈90%) 샘플 효율성으로 구간이 약간 길어진다.
• 가중된 추정 가중치(logistic regression 또는 random forests)를 사용하는 가중 컨포멀 구간은 거의 명목 커버리지에 근접한 수준(대략 91%)을 달성한다.
• 가중화 하의 유효 샘플 크기는 가중치를 기반으로 한 공식으로 표현 가능하며 커버리지의 변동성을 설명한다.
• 레이블링된/비레이블 데이터에서 우도비 w(x)를 추정하면 공변량 이동 하에서의 가중 컨포멀 예측의 실용적 적용이 가능해진다.
• 이 프레임워크는 공변량 이동을 넘어 가중된 교환가능성으로의 일반화를 포함하며 일반 이론적 보장을 제공한다.