[논문 리뷰] Unsupervised Calibration under Covariate Shift

Anusri Pampari, Stefano Ermon|arXiv (Cornell University)|2020. 06. 29.

Anomaly Detection Techniques and Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 연속적 분포 이탈 상황에서 기계 학습 모델을 校정하기 위해 중요도 표본 추출 기반 방법을 제안한다. 여기서 테스트 데이터 분포는 훈련 데이터와 다를 수 있다. 도메인 불변 특징을 활용하고, 판별기(discriminator)를 통해 밀도 비율을 추정함으로써, 레이블이 없는 타겟 데이터가 존재하더라도 기존의 校정 기법(예: 온도 스케일링)을 수정할 수 있도록 한다. 이는 모델이 도메인 적응을 통해 훈련된 경우에도, 교정 오차를 크게 향상시킨다(예: ECE가 20.6%에서 7.7%로 감소).

ABSTRACT

A probabilistic model is said to be calibrated if its predicted probabilities match the corresponding empirical frequencies. Calibration is important for uncertainty quantification and decision making in safety-critical applications. While calibration of classifiers has been widely studied, we find that calibration is brittle and can be easily lost under minimal covariate shifts. Existing techniques, including domain adaptation ones, primarily focus on prediction accuracy and do not guarantee calibration neither in theory nor in practice. In this work, we formally introduce the problem of calibration under domain shift, and propose an importance sampling based approach to address it. We evaluate and discuss the efficacy of our method on both real-world datasets and synthetic datasets.

연구 동기 및 목표

• 도메인 적응을 통해 훈련된 모델이 높은 정확도를 보이더라도, 연속적 분포 이탈 상황에서 여전히 교정되지 않은 상태임을 규명하는 것.
• 훈련 데이터 분포와 다를 경우 모델의 교정 부족 문제를 해결하는 것.
• 레이블이 없는 타겟 데이터가 존재하더라도 도메인 이탈 상황에서 모델을 교정할 수 있는 방법을 개발하는 것.
• 안전 중심 응용 분야에서 모델 신뢰도가 진정된 예측 신뢰도를 반영하도록 불확실성 정량화를 향상시키는 것.

제안 방법

• 소스 검증 데이터를 소스 및 타겟 분포 간 추정된 밀도 비율에 기반해 중요도 표본 추출을 통해 재가중한다.
• 도메인 적응 기반 네트워크(예: CDAN)의 도메인 불변 특징 레이어를 활용해 이진 판별기를 훈련시켜 밀도 비율을 추정한다.
• 추정된 밀도 비율을 활용해 교정 목표함수를 수정함으로써, 기존의 어떤 교정 기법(예: 온도 스케일링)도 타겟 도메인에 적응시킬 수 있도록 한다.
• 판별기의 출력을 통해 p_target(x)/p_source(x)의 가능도 비율을 근사하고, 이를 교정 손실에서 중요도 가중치로 사용한다.
• 가중 교정 목표함수를 표준 후처리 교정 기법에 통합하여, 분포 이탈 하에서도 일반화 가능한 성능을 달성한다.
• 실제 데이터 세트(Office-31, Office-Home, MNIST-USPS)를 활용해 다양한 도메인 이탈 시나리오에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 온도 스케일링과 같은 기존 교정 기법이 연속적 분포 이탈 상황에서도 교정 성능을 유지할 수 있는가?
• RQ2 정확도는 유지되더라도 도메인 적응이 모델의 교정을 얼마나 손상시키는가?
• RQ3 레이블이 없는 타겟 데이터가 존재하더라도 연속적 분포 이탈 상황에서 비지도적 교정을 달성할 수 있는가?
• RQ4 추정된 밀도 비율을 활용한 중요도 표본 추출이 도메인 이탈 상황에서 교정을 얼마나 효과적으로 향상시키는가?
• RQ5 실제 환경에서 제안된 방법의 성능을 제한하는 요소는 무엇인가?

주요 결과

• 제안된 가중 교정 방법은 도메인 이탈 데이터에서 기대 교정 오차(Expected Calibration Error, ECE)를 크게 감소시켰으며, Office-31의 A→D 전이에서 ECE를 14.7%에서 6.0%로 개선했다.
• MNIST-USPS 데이터셋에서 M→U 전이 상황에서 ECE가 20.6%에서 7.7%로 개선되어, 이격된 분포 상황에서도 뛰어난 성능을 보였다.
• Office-Home 데이터셋에서 Cl→Pr 전이에서는 ECE가 13.3%에서 6.4%로 감소하여, 다양한 도메인 간 일관된 개선 효과를 입증했다.
• 가중 교정과 기존 기반 기법보다 성능이 뛰어나며, 특히 소스와 타겟 데이터 분포가 상당히 다를 경우 두드러진 성능 향상을 보였다.
• 일부 설정에서 성능 저하(예: A→W, A→D)는 데이터 불균형과 밀도 비율 추정의 열악함과 관련이 있으며, 이는 주요 한계를 시사한다.
• 제안된 방법의 효과성은 정확한 밀도 비율 추정에 크게 의존하므로,未래 연구에서 이 단계의 개선이 핵심임을 시사한다.