[논문 리뷰] PAC Prediction Sets Under Covariate Shift

Sangdon Park, Edgar Dobriban외 2명|arXiv (Cornell University)|2021. 06. 17.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 5

한 줄 요약

이 논문은 테스트 데이터 분포가 훈련 데이터와 다를 때도 유효한 불확실성 측정을 유지하기 위해 중요도 가중치를 활용하여 조건부 분포가 그대로일 때 입력 분포가 이동하는 상황에서의 PAC 예측 집합을 제안한다. PS-W는 중요도 가중치의 신뢰구간을 사용하는 거부 샘플링 기반의 강건한 알고리즘으로, ImageNet과 DomainNet에서의 다양한 도메인 이동 상황에서 항상 PAC 제약 조건을 충족하면서도 평균 정규화 예측 집합 크기가 가장 작다.

ABSTRACT

An important challenge facing modern machine learning is how to rigorously quantify the uncertainty of model predictions. Conveying uncertainty is especially important when there are changes to the underlying data distribution that might invalidate the predictive model. Yet, most existing uncertainty quantification algorithms break down in the presence of such shifts. We propose a novel approach that addresses this challenge by constructing \emph{probably approximately correct (PAC)} prediction sets in the presence of covariate shift. Our approach focuses on the setting where there is a covariate shift from the source distribution (where we have labeled training examples) to the target distribution (for which we want to quantify uncertainty). Our algorithm assumes given importance weights that encode how the probabilities of the training examples change under the covariate shift. In practice, importance weights typically need to be estimated; thus, we extend our algorithm to the setting where we are given confidence intervals for the importance weights. We demonstrate the effectiveness of our approach on covariate shifts based on DomainNet and ImageNet. Our algorithm satisfies the PAC constraint, and gives prediction sets with the smallest average normalized size among approaches that always satisfy the PAC constraint.

연구 동기 및 목표

• 훈련 데이터와 테스트 데이터의 분포가 다를 때 기존의 불확실성 측정 방법이 실패하는 문제를 해결하기 위해.
• 입력 분포가 이동하더라도 조건부 레이블 분포는 그대로 유지될 때, 아마도 약간 정확한(PAC) 예측 집합을 유지하는 방법을 개발하기 위해.
• 중요도 가중치의 불확실성을 고려하여 신뢰구간을 통합함으로써 추정 오차에 강건한 방법을 만들기 위해.
• 항상 PAC 제약 조건을 충족하는 방법들 중에서 평균 정규화 예측 집합 크기를 최소화하기 위해.

제안 방법

• 소스 도메인에서 타겟 도메인으로의 조건부 분포가 유지되는 상황에서 중요도 가중치를 사용하여 훈련 예제의 가능성 변화를 모델링한다.
• 중요도 가중치가 알려져 있을 때, 거부 샘플링을 사용하여 PAC 예측 집합을 구성한다.
• 중요도 가중치의 신뢰구간을 고려하여 추정 오차에 강건한 방법으로 확장한다.
• 분포 이동 상황에서도 유효한 커버리지 유지가 가능하도록 교정 세트를 사용한 인덕티브 컨 formalized 예측을 적용한다.
• PAC 커버리지 유지 조건을 충족하면서도 집합 크기를 최적화하기 위해 임계값 τ를 조정한다.
• 이중 단계 프로세스를 사용한다: 먼저 소스 데이터에서 모델을 훈련하고, 그 다음 가중치 중요도 샘플링을 사용하여 별도의 교정 세트에서 예측 집합을 교정한다.

실험 결과

연구 질문

• RQ1 입력 분포가 변화하는 조건부 분포가 그대로 유지되는 상황에서 PAC 예측 집합을 신뢰성 있게 유지할 수 있는가?
• RQ2 중요도 가중치의 불확실성을 예측 집합 구성에 통합하여 강건성을 확보할 수 있는가?
• RQ3 조건부 분포가 그대로 유지되는 상황에서 예측 집합 크기와 커버리지 오차 사이의 상충 관계는 어떠한가?
• RQ4 다양한 도메인 이동 상황에서 기존 방법들과 비교해 볼 때, 제안된 방법은 예측 집합의 크기와 유효성 면에서 어떻게 다른가?

주요 결과

• PS-W는 DomainNet과 ImageNet에서 9개의 조건부 분포가 유지되는 조건에서 PAC 제약 조건을 충족하지만, PS와 WSCI와 같은 기존 방법들은 오차 한계를 충족하지 못한다.
• 모든 방법들 중에서 PAC 제약 조건을 보장하는 방법들 중에서 평균 정규화 예측 집합 크기가 가장 작다.
• 레이트 이동(예: 주간에서 야간으로의 전환) 상황에서는 기존 방법들이 실패하는 가운데 PS-W는 유효한 예측 집합을 구성한다.
• 서포트 이동(예: ImageNet에서 ImageNet-C 및 ImageNet-PGD로의 전환) 상황에서는 PS-W가 PS와 WSCI보다 커버리지 오차를 최소화하면서도 작은 집합 크기를 유지한다.
• 그림 9~11의 시각화 결과는 PS-W가 특히 도전적인 이동 상황에서 PS보다 진짜 레이블을 더 신뢰성 있게 포함하고 있음을 확인한다.
• 중요도 가중치의 추정 오차에 대해 강건함을 입증하기 위해, 신뢰구간의 불확실성 하에서의 성능이 확인되었다.