[논문 리뷰] Well-calibrated Model Uncertainty with Temperature Scaling for Dropout Variational Inference

Max-Heinrich Laves, Sontje Ihler외 2명|arXiv (Cornell University)|2019. 09. 30.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 26

한 줄 요약

이 논문은 딥 네URAL 네트워크에서 모델 불확실성을 잘 校정하는 데 있어 드롭아웃 변동적 추론을 위한 온도 스케일링을 제안한다. 몬테카를로 드롭아웃 추론 중 소프트맥스 출력에 학습 가능한 온도 파라미터를 적용함으로써, 불확실성 校정 오차(UCE)가 최대 66% 감소하는 것으로 입증되었으며, 이는 ResNet-101을 사용한 CIFAR-100에서 나타났다. 이는 모델 정확도를 유지하면서 신뢰도 높은 예측 기각을 가능하게 한다.

ABSTRACT

Model uncertainty obtained by variational Bayesian inference with Monte Carlo dropout is prone to miscalibration. The uncertainty does not represent the model error well. In this paper, temperature scaling is extended to dropout variational inference to calibrate model uncertainty. Expected uncertainty calibration error (UCE) is presented as a metric to measure miscalibration of uncertainty. The effectiveness of this approach is evaluated on CIFAR-10/100 for recent CNN architectures. Experimental results show, that temperature scaling considerably reduces miscalibration by means of UCE and enables robust rejection of uncertain predictions. The proposed approach can easily be derived from frequentist temperature scaling and yields well-calibrated model uncertainty. It is simple to implement and does not affect the model accuracy.

연구 동기 및 목표

• 드롭아웃 변동적 추론에서 예측된 신뢰도가 실제 오차율과 일치하지 않는 불확실성 校정 오차 문제를 해결하기 위해.
• 원래는 빈도주의 소프트맥스 출력을 校정하는 데 사용된 온도 스케일링을 몽테카를로 드롭아웃을 활용한 베이지안 딥 러닝으로 확장하기 위해.
• 베이지안 모델에서 불확실성 校정 오차를 정량화하기 위해 새로운 지표인 기대 불확실성 校정 오차(UCE)를 정의하기 위해.
• 잘 校정된 불확실성 추정을 통해 신뢰도가 낮은 예측의 기각을 강력하게 가능하게 하기 위해.
• 온도 스케일링이 훈련 중 신뢰도 페널티보다 더 나은 불확실성 校정을 달성하는가를 입증하기 위해.

제안 방법

• 몬테카를로 드롭아웃 추론 중 신경망의 로짓에 온도 스케일링을 적용하며, 스칼라 온도 파라미터 T를 사용해 소프트맥스 출력을 부드럽게 한다.
• 검증 세트를 사용해 기대 불확실성 校정 오차(UCE)에 대한 기울기 하강법을 통해 온도 스케일링 업데이트 규칙을 유도한다.
• N번의 순방향 전파를 통해 몽테카를로 드롭아웃을 사용해 사후 예측 분포를 근사하고, 정규화된 엔트로피를 통해 불확실성을 계산한다.
• 모든 클래스에 걸쳐 예측 신뢰도를 정량화하기 위해, [0,1] 범위로 스케일링된 정규화된 엔트로피 H̃(p)를 불확실성 측정치로 정의한다.
• 검증 세트에서 UCE를 최소화함으로써 불확실성을 校정한다. 여기서 UCE는 신뢰도 구간에 따라 예측된 신뢰도와 실제 정확도 간의 기대 차이를 측정한다.
• 모델 가능도와 불확실성 추정에 동일한 학습된 온도 T를 적용함으로써 校정의 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 온도 스케일링은 몽테카를로 드롭아웃을 통해 확보한 모델 불확실성의 불일치를 효과적으로 줄일 수 있는가?
• RQ2 온도 스케일링은 불확실성과 예측 신뢰도를 校정하는 데 있어 신뢰도 페널티와 비교해 어떤가?
• RQ3 온도 스케일링은 불확실성 기반 예측 기각의 신뢰성에 얼마나 기여하는가?
• RQ4 온도 스케일링은 불확실성 校정을 향상시키는 동안 모델 정확도를 유지하는가?
• RQ5 네트워크 아키텍처와 깊이의 영향은 온도 스케일링의 불확실성 校정 효과성에 어떤가?

주요 결과

• ResNet-101을 사용한 CIFAR-100에서 온도 스케일링은 불확실성 校정 오차(UCE)를 최대 66% 감소시켰으며, UCE는 30.33%에서 2.41%로 감소했다.
• ResNet-18을 사용한 CIFAR-10에서는 UCE가 7.60%(비교정)에서 5.27%(TS-비교정)로 감소하여 일관된 향상을 보였다.
• 온도 스케일링은 신뢰도 페널티를 능가했다: CP는 ECE를 5.20%에서 3.37%로 감소시켰지만, TS는 더 낮은 ECE와 UCE를 달성하며 더 나은 불확실성 校정을 이룩했다.
• 잘 校정된 불확실성은 강력한 예측 기각을 가능하게 했다: 불확실성 임계값이 낮아질수록 오차가 거의 선형적으로 감소하여 신뢰할 수 있는 불확실성 추정이 되었다.
• 이 방법은 구현이 단순하며, 모델 정확도에 영향을 주지 않으며, 재학습 없이도 사후에 적용 가능하다.
• 신뢰도 다이어그램은 TS-비교정된 불확실성이 모든 신뢰도 범위에서 예측된 신뢰도와 실제 정확도를 더 잘 일치시킴을 확인했다.