[논문 리뷰] Transferable Calibration with Lower Bias and Variance in Domain Adaptation

Ximei Wang, Mingsheng Long외 2명|arXiv (Cornell University)|2020. 07. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 66인용 수 19

한 줄 요약

이 논문은 도메인 적응을 위한 하이퍼파rameter-free 사후 校정 방법인 Transferable Calibration (TransCal)을 제안한다. 이 방법은 타겟 레이블이 없이도 예측 불확실성 추정의 편향과 분산을 줄이며, 다양한 도메인 적응 벤치마크에서 최신 기술 수준의 校정 성능을 달성한다. 유연한 메타-파라미터와 순차적 제어 변수를 활용함으로써, 안전 중심 응용 분야에서 신뢰성 향상에 기여한다.

ABSTRACT

Domain Adaptation (DA) enables transferring a learning machine from a labeled source domain to an unlabeled target one. While remarkable advances have been made, most of the existing DA methods focus on improving the target accuracy at inference. How to estimate the predictive uncertainty of DA models is vital for decision-making in safety-critical scenarios but remains the boundary to explore. In this paper, we delve into the open problem of Calibration in DA, which is extremely challenging due to the coexistence of domain shift and the lack of target labels. We first reveal the dilemma that DA models learn higher accuracy at the expense of well-calibrated probabilities. Driven by this finding, we propose Transferable Calibration (TransCal) to achieve more accurate calibration with lower bias and variance in a unified hyperparameter-free optimization framework. As a general post-hoc calibration method, TransCal can be easily applied to recalibrate existing DA methods. Its efficacy has been justified both theoretically and empirically.

연구 동기 및 목표

• 무 supervision 도메인 적응에서 기존 방법이 도메인 이동과 타겟 레이블 부족으로 실패하는 모델 校정의 열린 문제를 해결하기 위해.
• 도메인 적응 모델에서 정확도와 校정 간의 상충 관계를 드러내며, 높은 정확도가 종종 악화된 校정을 수반한다는 것을 보여주기 위해.
• 정확도, 낮은 편향, 낮은 분산을 동시에 확보할 수 있는 통합된 하이퍼파rameter-free 최적화 프레임워크를 개발하기 위해.
• 구조적 변경 없이도 기존 도메인 적응 모델에 사후 校정을 적용할 수 있도록 하기 위해.

제안 방법

• TransCal은 校정 오차를 최소화하기 위해 온도 스케일링 파라미터와 학습 가능한 메타-파라미터 λ를 동시에 최적화하는 통합 최적화 프레임워크를 도입한다.
• 보정 오차 추정의 분산을 줄이기 위해 순차적 제어 변수 기법을 활용함으로써 최적화 안정성을 향상시킨다.
• 소스 및 타겟 특징에서 유도된 중요도 가중치를 사용하여 타겟 도메인의 진정한 레이블이 없이도 校정 오차를 추정한다.
• 소스 및 타겟 도메인 샘플의 기여도를 균형 잡기 위해 메타-파라미터 λ를 도입하며, 이는 편향을 적극적으로 최소화한다.
• 이 프레임워크는 하이퍼파rameter-free이므로 온도 또는 λ의 수동 튜닝이 필요 없으며, 양자가 엔드 투 엔드로 최적화된다.
• TransCal은 어떤 사전 학습된 도메인 적응 모델과도 호환되며, 아키텍처 변경 없이 사후 校정 단계로 적용 가능하다.

실험 결과

연구 질문

• RQ1 도메인 적응은 정확도가 향상되더라도 모델의 校정을 본질적으로 악화시키는가?
• RQ2 타겟 레이블에 접근할 수 없음에도 불구하고 도메인 적응에서 낮은 편향과 낮은 분산의 校정을 달성할 수 있는가?
• RQ3 통합된 하이퍼파rameter-free 최적화 프레임워크는 도메인 적응의 校정에 대해 실현 가능하고 효과적인가?
• RQ4 제어 변수 선택(순차적 대비 병렬)이 校정 분산과 성능에 어떤 영향을 미치는가?
• RQ5 TransCal은 Temp Scaling, Vector Scaling, Matrix Scaling 등의 기존 보조 기반 방법보다 도메인 적응 환경에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• 모든 평가 작업에서 TransCal은 가장 낮은 Expected Calibration Error (ECE)를 기록했으며, 순차적 제어 변수 변형을 사용할 경우 Office-Home에서 평균 ECE가 13.5%였다.
• Office-Home 데이터셋에서 TransCal은 순차적 제어 변수를 사용할 경우 기준선(20.9%)에서 ECE를 13.5%로 감소시켜 뚜렷한 향상을 보였다.
• 순차적 제어 변수 기법은 校정 오차 추정기의 분산을 줄여 더 안정적인 최적화와 더 나은 일반화를 이끌어냈다.
• 모든 도메인 이동에 대해 최적의 λ를 학습함으로써 최대 중요도 가중치(M)를 효과적으로 감소시켜 편향과의 상관관계를 줄였다.
• TransCal은 Temp Scaling 및 Matrix Scaling을 포함한 모든 기준 보다 뛰어난 성능을 보였으며, 후자는 과적합 문제로 인해 성능이 열 劣화되었다.
• 실험 결과는 딥 네트워크로 학습된 DA 모델이 SourceOnly 모델보다 높은 정확도를 달성하지만, 더 나쁜 校정 성능을 보임을 확인했으며, 이는 정확도-교정 상충관계를 뒷받침한다.