[논문 리뷰] Improving MC-Dropout Uncertainty Estimates with Calibration Error-based Optimization.

Afshar Shamsi Jokandan, Hamzeh Asgharnezhad외 5명|arXiv (Cornell University)|2021. 10. 07.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 10

한 줄 요약

이 논문은 몬테카를로 드롭아웃(MC-Dropout)에서 불확실성 캘리브레이션을 향상시키기 위해 교차 엔트로피와 기대 캘리브레이션 오차(ECE) 및 예측 엔트로피(PE)를 조합한 두 가지 새로운 하이브리드 손실 함수를 제안한다. 이 방법은 정확한 예측과 잘못된 예측의 불확실성 분포 간의 겹침을 줄임으로써 모델의 정확도를 저하시키지 않은 채 불확실성 추정을 향상시켜 더 잘 캘리브레이션된 불확실성 정량화를 달성한다.

ABSTRACT

Uncertainty quantification of machine learning and deep learning methods plays an important role in enhancing trust to the obtained result. In recent years, a numerous number of uncertainty quantification methods have been introduced. Monte Carlo dropout (MC-Dropout) is one of the most well-known techniques to quantify uncertainty in deep learning methods. In this study, we propose two new loss functions by combining cross entropy with Expected Calibration Error (ECE) and Predictive Entropy (PE). The obtained results clearly show that the new proposed loss functions lead to having a calibrated MC-Dropout method. Our results confirmed the great impact of the new hybrid loss functions for minimising the overlap between the distributions of uncertainty estimates for correct and incorrect predictions without sacrificing the model's overall performance.

연구 동기 및 목표

• 실제 응용에서 모델 신뢰도를 제한하는 MC-Dropout에서의 잘못 캘리브레이션된 불확실성 추정 문제를 해결하기 위해.
• 나쁜 캘리브레이션의 주요 지표인 정확한 예측과 잘못된 예측의 불확실성 분포 간 겹침을 줄이기 위해.
• 불확실성 캘리브레이션 향상과 함께 모델 성능을 유지하거나 향상시키기 위해.
• 딥 러닝 모델에서 불확실성 캘리브레이션을 위한 명시적 최적화를 가능하게 하는 새로운 손실 함수를 개발하기 위해.

제안 방법

• 교차 엔트로피와 기대 캘리브레이션 오차(ECE) 및 예측 엔트로피(PE)를 조합하여 모델 훈련을 이끄는 두 가지 새로운 손실 함수를 제안한다.
• ECE를 캘리브레이션 지표로 사용하여 훈련 중 잘못 캘리브레이션을 방지하고, 예측된 신뢰도와 정확도 간의 일치를 유도한다.
• 예측 엔트로피를 통합하여 예측 간 다양성과 정보성 있는 불확실성 추정을 장려한다.
• 하이브리드 손실 함수를 사용하여 MC-Dropout 모델을 훈련함으로써 불확실성 캘리브레이션의 엔드 투 엔드 최적화를 가능하게 한다.
• 추론 시 몬테카를로 샘플링을 활용하여 지식 기반 불확실성(epistemic uncertainty)을 추정하며, 새로운 손실 함수 덕분에 캘리브레이션이 향상된다.
• 통합된 손실 목적함수를 통해 예측 정확도와 불확실성 캘리브레이션 사이의 트레이드오���을 최적화한다.

실험 결과

연구 질문

• RQ1 교차 엔트로피를 ECE와 PE와 조합하면 MC-Dropout에서의 불확실성 추정 캘리브레이션을 향상시킬 수 있는가?
• RQ2 제안된 하이브리드 손실 함수는 정확한 예측과 잘못된 예측의 불확실성 분포 간 겹침을 줄이는가?
• RQ3 새로운 방법은 불확실성 캘리브레이션 향상과 함께 모델 정확도를 어느 정도 유지하거나 향상시키는가?
• RQ4 ECE와 PE 성분은 개별적으로나 함께 불확실성 정량화 향상에 어떻게 기여하는가?

주요 결과

• 제안된 하이브리드 손실 함수는 정확한 예측과 잘못된 예측의 불확실성 분포 간 겹침을 최소화함으로써 MC-Dropout의 캘리브레이션을 크게 향상시킨다.
• 모델의 전체 예측 성능을 희생시키지 않은 채 더 잘 캘리브레이션된 불확실성 추정을 달성한다.
• ECE와 PE를 손실 함수에 통합함으로써 특히 분포 외 탐지에서 더 신뢰할 수 있는 신뢰도 추정이 가능해진다.
• 결과는 ECE와 PE를 명시적으로 최적화함으로써 딥 러닝 모델에서 불확실성 정량화의 신뢰도가 향상됨을 확인한다.
• 새로운 손실 함수는 표준 MC-Dropout 훈련에서 흔히 발생하는 잘못 캘리브레이션을 효과적으로 줄인다.
• 불확실성 캘리브레이션은 목표 지향적인 손실 함수 설계를 통해 체계적으로 향상시킬 수 있음을 보여준다.