[논문 리뷰] Calibration of Model Uncertainty for Dropout Variational Inference

Max-Heinrich Laves, Sontje Ihler외 2명|arXiv (Cornell University)|2020. 06. 20.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 11

한 줄 요약

이 논문은 몬테카를로 드롭아웃 변분 추론에서 모델 불확실성을 재교정하기 위해 로짓 스케일링 기법—온도 스케일링, 벡터 스케일링, 보조 스케일링—을 제안한다. 이는 기대 불확실성 교정 오차(Expected Uncertainty Calibration Error, UCE)로 측정된 불확실성의 잘못된 교정을 크게 감소시키며, 최신의 CNN을 사용한 CIFAR-10/100 및 SVHN에서 외부 분포(out-of-distribution, OoD) 탐지 능력과 불확실한 예측의 신뢰성 있는 기각 능력을 향상시킨다.

ABSTRACT

The model uncertainty obtained by variational Bayesian inference with Monte Carlo dropout is prone to miscalibration. In this paper, different logit scaling methods are extended to dropout variational inference to recalibrate model uncertainty. Expected uncertainty calibration error (UCE) is presented as a metric to measure miscalibration. The effectiveness of recalibration is evaluated on CIFAR-10/100 and SVHN for recent CNN architectures. Experimental results show that logit scaling considerably reduce miscalibration by means of UCE. Well-calibrated uncertainty enables reliable rejection of uncertain predictions and robust detection of out-of-distribution data.

연구 동기 및 목표

• 베이지안 신경망에서 몬테카를로 드롭아웃에 기반한 모델 불확실성의 잘못된 교정 문제를 해결하기 위해.
• 불확실성의 잘못된 교정을 정량화하기 위해 새로운 지표인 기대 불확실성 교정 오차(Expected Uncertainty Calibration Error, UCE)를 제안하기 위해.
• 빈도주의 신뢰도 교정 기법(로짓 스케일링)을 베이지안 모델 불확실성으로 확장하기 위해.
• 교정된 불확실성이 외부 분포 탐지 및 예측 신뢰성 향상에 기여하는지 경험적으로 검증하기 위해.
• 간단한 스케일링 방법이 복잡한 또는 학습 시 정규화 기법보다 우수한 성능을 보이는지 보여주기 위해.

제안 방법

• 모델 불확실성의 잘못된 교정을 정량화하기 위해 클래스별 지표로 기대 불확실성 교정 오차(Expected Uncertainty Calibration Error, UCE)를 제안한다.
• 신뢰도 교정에서 유래한 온도 스케일링, 벡터 스케일링, 보조 스케일링을 몬테카를로 드롭아웃 변분 추론에서 불확실성 재교정에 적용한다.
• 가우시안 드롭아웃로 훈련된 베이지안 신경망의 출력 로짓에 로짓 스케일링을 적용하여 지식 불확실성 추정치를 조정한다.
• UCE를 최소화하는 최적의 스케일링 파라미터를 학습하기 위해 별도의 교정 데이터셋을 사용한다.
• 로짓 스케일링을 통한 불확실성 교정에 대한 이론적 근거로 엔트로피 최대화 원리를 적용한다.
• 신뢰도 다이어그램을 사용해 교정 성능을 검증하고, ResNet, DenseNet 및 기타 아키텍처를 사용해 CIFAR-10/100 및 SVHN에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 신뢰도 교정에 사용되는 로짓 스케일링 기법을 베이지안 신경망에서의 모델 불확실성 교정으로 확장할 수 있는가?
• RQ2 기대 불확실성 교정 오차(Expected Uncertainty Calibration Error, UCE)는 몬테카를로 드롭아웃에서 유래한 지식 불확실성의 잘못된 교정을 측정하는 데 얼마나 효과적인가?
• RQ3 로짓 스케일링을 통한 불확실성 재교정이 교정되지 않은 몬테카를로 드롭아웃 대비 외부 분포 탐지 성능을 향상시키는가?
• RQ4 불확실성 교정은 불확실한 예측을 기각하는 데 있어 예측의 신뢰성에 어떤 영향을 미치는가?
• RQ5 온도 스케일링과 같은 단순한 스케일링 방법이 신뢰도 페널티와 같은 더 복잡하거나 학습 시 정규화 기법보다 우수한가?

주요 결과

• 로짓 스케일링은 기대 불확실성 교정 오차(Expected Uncertainty Calibration Error, UCE)를 크게 감소시키며, 온도 스케일링이 더 복잡한 방법과 거의 동일한 성능을 보인다.
• 교정된 불확실성은 신뢰성 있는 불확실한 예측 기각을 가능하게 하며, 온도 스케일링 또는 벡터 스케일링을 사용할 경우 상위-1 오차가 1% 이하로 유지된다.
• ResNet 및 DenseNet에서 교정된 불확실성은 외부 분포 데이터에 대해 높은 불확실성 수준(50% 이상)을 유지하여 안정적인 OoD 탐지가 가능하다.
• 신뢰도 페널티는 불확실성을 과도하게 추정하고, 특히 더 큰 모델에서 교정을 악화시키는 경향이 있다.
• 몬테카를로 드롭아웃에서 유도된 베이지안 우도는 빈도주의 신뢰도보다 본질적으로 더 잘 교정되어 있으며, 로짓 스케일링은 이 기본 성능을 추가로 향상시킨다.
• 벡터 스케일링 및 보조 스케일링은 불확실성 교정을 향상시키지만, 예측 정확도에 악영향을 미칠 수 있다. 반면 온도 스케일링는 정확도를 유지한다.