[논문 리뷰] Improving model calibration with accuracy versus uncertainty optimization

Ranganath Krishnan, Omesh Tickoo|arXiv (Cornell University)|2020. 12. 14.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 60

한 줄 요약

본 논문은 AvUC를 도입한다. 이는 미분 가능하는 정확도 대 불확실성 보정 손실로, 정확한 예측에서 자신감을, 부정확한 예측에서 불확실성을 부여하도록 모델을 학습시켜, 분포 변화(distributional shift) 하에서 보정을 개선하고, 사후(post-hoc) AvUTS 옵션을 제공한다.

ABSTRACT

Obtaining reliable and accurate quantification of uncertainty estimates from deep neural networks is important in safety-critical applications. A well-calibrated model should be accurate when it is certain about its prediction and indicate high uncertainty when it is likely to be inaccurate. Uncertainty calibration is a challenging problem as there is no ground truth available for uncertainty estimates. We propose an optimization method that leverages the relationship between accuracy and uncertainty as an anchor for uncertainty calibration. We introduce a differentiable accuracy versus uncertainty calibration (AvUC) loss function that allows a model to learn to provide well-calibrated uncertainties, in addition to improved accuracy. We also demonstrate the same methodology can be extended to post-hoc uncertainty calibration on pretrained models. We illustrate our approach with mean-field stochastic variational inference and compare with state-of-the-art methods. Extensive experiments demonstrate our approach yields better model calibration than existing methods on large-scale image classification tasks under distributional shift.

연구 동기 및 목표

• 동기: 보정된 불확실성은 안전-필요 AI 시스템과 데이터셋 변화 하에서의 강건한 의사결정을 위해 필수적이다.
• 목표: 정확도와 불확실성을 연결해 보정을 개선하되 정확도를 희생하지 않는 미분 가능 AvUC 손실을 개발한다.
• 목표: 학습 시 보정(SVI-AvUC)과 사후 보정(AvUTS)을 모두 프리트레인 모델에 대해 가능하게 한다.
• 접근법: 손실 보정 추론 프레임워크 내에서 AvUC를 적용하고 분포 변화 하에서 대규모 이미지 분류에 대해 평가한다.

제안 방법

• 정확도와 불확실성 간의 관계를 형식화하기 위해 AvU 범주(AC, AU, IC, IU)를 정의한다.
• 학습 중 AvU 유용성을 최적화하기 위해 미분 가능 AvU 프록시와 AvUC 손실을 도입한다.
• 가중 하이퍼파라미터 β를 가진 손실 보정 ELBO(SVI-AvUC)에 페널티 항으로 AvUC를 통합한다.
• 사후 보정 방법(AvUTS)을 제공하기 위해 사전 학습된 모델에서 온도 스케일링으로 AvUC를 최적화한다.
• Mean-field 확률적 변분 추론에의 적용 가능성을 시연하고 Temp scaling, 앙상블, Dropout 등의 기준과 비교한다.

실험 결과

연구 질문

• RQ1 미분 가능 AvUC 손실이 분포 변화 하에서 정확도를 희생하지 않으면서 더 잘 보정된 불확실성을 낳을 수 있는가?
• RQ2 AvUC가 대규모 데이터셋에서의 동일 분포 보정과 데이터셋 변이 하의 보정을 모두 개선하는가?
• RQ3 사후 AvUTS가 학습 시 AvUC와 경쟁력 있는가?
• RQ4 AvUC가 분포 변화 탐지 및 불확실성 기반 평가 지표에 어떤 영향을 미치는가?

주요 결과

• SVI-AvUC는 분포 변화 하에서 베이스라인보다 더 나은 모델 보정(더 낮은 ECE 및 UCE)을 달성하면서 앙상블과 비슷한 정확도를 유지한다.
• SVI-AvUC는 다중 지표에서 ImageNet 및 CIFAR10에서 손상된 시프트 하의 신뢰도-정확도 관계와 불확실성 품질을 향상시킨다.
• AvUTS는 베이스라인 SVI 및 일반 모델에 비해 사후 불확실성 보정 개선을 제공하며, 보정 오차가 더 낮게 나타난다.
• AVUC 기반 방법은 예측 불확실성을 이용한 분포 변화 탐지 성능을 향상시키며, 여러 경쟁 방법을 능가한다.
• 표와 유사한 결과는 SVI-AvUC가 Temp scaling, Dropout, Enlightened Bayesian 베이스라인에 비해 시프트 강도 전반에서 보정 및 불확실성 지표가 우수함을 시사한다.
• AVUC 방법은 분포 변화 하에서 보정된 신뢰도와 불확실성 지표를 모두 향상시킨다.