[논문 리뷰] Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation

Sangdon Park, Osbert Bastani외 2명|arXiv (Cornell University)|2020. 02. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 17

한 줄 요약

이 논문은 분포 이탈을 보완하기 위해 비지도 도메인 적응과 중요도 가중치를 조합하여 공변량 이탈 하에서 校정된 불확실성 예측을 위한 새로운 방법을 제안한다. 이 방법은 소스 및 타겟 분포를 정렬하기 위해 공유된 특징 공간을 학습하고, 중요도 가중치를 사용한 校정을 통해 신뢰성을 향상시킨다. MNIST에서 SVHN 및 USPS로의 벤치마크 이격 상황에서 기준선 대비 기대 校정 오차(Expected Calibration Error, ECE)와 과신뢰도 감소 측면에서 모두 뛰어난 성능을 보였다.

ABSTRACT

Reliable uncertainty estimates are an important tool for helping autonomous agents or human decision makers understand and leverage predictive models. However, existing approaches to estimating uncertainty largely ignore the possibility of covariate shift--i.e., where the real-world data distribution may differ from the training distribution. As a consequence, existing algorithms can overestimate certainty, possibly yielding a false sense of confidence in the predictive model. We propose an algorithm for calibrating predictions that accounts for the possibility of covariate shift, given labeled examples from the training distribution and unlabeled examples from the real-world distribution. Our algorithm uses importance weighting to correct for the shift from the training to the real-world distribution. However, importance weighting relies on the training and real-world distributions to be sufficiently close. Building on ideas from domain adaptation, we additionally learn a feature map that tries to equalize these two distributions. In an empirical evaluation, we show that our proposed approach outperforms existing approaches to calibrated prediction when there is covariate shift.

연구 동기 및 목표

• 학습 데이터 분포와 다를 수 있는 테스트 데이터 분포를 가진 공변량 이탈 상황에서 기계학습 모델의 잘못된 불확실성 예측 문제를 해결하기 위해.
• 타겟 레이블이 필요 없이 레이블이 있는 소스 데이터와 레이블이 없는 타겟 데이터를 활용해 校정된 예측 프레임워크를 개발하기 위해.
• 특히 안전이 중요한 응용 분야에서 분포 이탈로 인한 과신뢰도를 보완함으로써 모델 신뢰도를 향상시키기 위해.
• 중요도 가중치와 도메인 적응을 모두 포함하는 공변량 이탈 하에서의 校정 오차에 대한 새로운 상한선을 수식화하기 위해.
• 제안된 방법이 분포 이탈 하에서 표준 校정 기법보다 우수한 성능을 보임을 실증적으로 검증하기 위해.

제안 방법

• 샘플이 타겟(이격된) 분포에서 온 것일 가능성을 반영하기 위해 소스 구분자(Source-Discriminator)를 사용해 중요도 가중치를 추정한다.
• 중요도 가중치 ECE와 소스 구분자의 오차를 조합한 새로운 기대 校정 오차(Expected Calibration Error, ECE) 상한선을 제안한다.
• 소스 및 타겟 특징 간의 구분 가능성을 최소화하기 위해 적대적 도메인 적응을 통해 특징 매핑을 학습함으로써, 중요도 가중치에 필요한 지지 집합 포함 조건을 만족시킨다.
• 최종 분류기의 온도 스케일링을 사용해 제안된 ECE 상한선을 최소화함으로써 불확실성 예측기를 학습시킨다.
• 비지도 도메인 적응(도메인 구분자 통한)과 불확실성 校정을 통합함으로써, 이격된 분포에서의 강건한 성능을 달성한다.
• 타겟 레이블이 필요 없이 레이블이 있는 소스 데이터와 레이블이 없는 타겟 데이터를 사용해 종합적으로 학습한다.

실험 결과

연구 질문

• RQ1 타겟 레이블에 접근할 수 없을 때, 테스트 분포가 학습 분포와 다를 경우(공변량 이탈), 기계학습 모델의 불확실성 예측 校정을 향상시킬 수 있는가?
• RQ2 레이블이 없는 타겟 데이터를 어떻게 활용해 불확실성 추정에서 분포 이탈을 보완할 수 있는가?
• RQ3 도메인 적응과 중요도 가중치를 조합하면 온도 스케일링과 같은 표준 방법보다 더 나은 校정 성능을 낼 수 있는가?
• RQ4 특징 정렬과 중요도 가중치는 공변량 이탈 하에서 예측 과신뢰도를 줄이는 데 어떤 영향을 미치는가?
• RQ5 MNIST에서 SVHN로의 이격과 MNIST에서 USPS로의 이격과 같은 다양한 수준의 분포 이탈 상황에서 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법인 FL+IW+Temp.은 MNIST에서 SVHN로의 이격을 포함한 여러 공변량 이탈 벤치마크에서 기본 분류기 및 온도 스케일링 기준선 대비 기대 校정 오차(Expected Calibration Error, ECE)를 크게 낮춘다.
• MNIST에서 SVHN로의 이격 상황에서 ECE가 상당한 폭으로 감소하여 고도의 이격 상황에서의 효과성을 입증한다.
• 절단 분석 결과 중요도 가중치가 ECE 향상에 가장 큰 기여를 하며, 특히 소스보다 타겟 분포의 변동성이 더 클 경우 두드러진다.
• 특징 학습은 전반적인 校정 성능 향상에 기여하지만, 이격 정도가 클수록 성과 향상이 더 두드러진다. 반면 소규모 이격(MNIST에서 USPS)에서는 중요도 가중치만으로도 특징 학습을 능가하는 성능을 기록한다.
• MNIST에서 MNIST로의 이격이 전혀 없는 경우에도 양호한 성능 유지를 보여, 분포 안정성에 대한 강건성을 입증한다.
• MNIST에서 SVHN 벤치마크에서는 ECE 추정치의 변동성이 높은 편이었으며, 주로 소스 구분자의 훈련 불안정성으로 인해 중요도 가중치 추정에 영향을 미쳤다.