[논문 리뷰] An Uncertainty-aware Loss Function for Training Neural Networks with Calibrated Predictions

Afshar Shamsi, Hamzeh Asgharnezhad외 3명|arXiv (Cornell University)|2021. 10. 07.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 몬테카를로 드롭아웃(MC-Dropout) 네트워크를 사용하여 校정된 불확실성 예측을 수행하기 위해 교차 엔트로피와 기대 캘리브레이션 오차(ECE) 또는 예측 엔트로피(PE)를 조합한 두 가지 새로운 불확실성 인식 손실 함수를 제안한다. 이 방법은 정확도를 희생시키지 않은 채 정확한 예측과 잘못된 예측에 대한 불확실성 분포 간의 겹침을 크게 줄여, 안전이 중요한 응용 분야에서의 신뢰성을 향상시킨다.

ABSTRACT

Uncertainty quantification of machine learning and deep learning methods plays an important role in enhancing trust to the obtained result. In recent years, a numerous number of uncertainty quantification methods have been introduced. Monte Carlo dropout (MC-Dropout) is one of the most well-known techniques to quantify uncertainty in deep learning methods. In this study, we propose two new loss functions by combining cross entropy with Expected Calibration Error (ECE) and Predictive Entropy (PE). The obtained results clearly show that the new proposed loss functions lead to having a calibrated MC-Dropout method. Our results confirmed the great impact of the new hybrid loss functions for minimising the overlap between the distributions of uncertainty estimates for correct and incorrect predictions without sacrificing the model's overall performance.

연구 동기 및 목표

• 딥 러닝 모델에서의 校정된 불확실성 예측의 부족, 특히 의료 진단 및 자율 주행 차량과 같은 안전이 중요한 분야에서의 문제를 해결하기 위해.
• 정확한 예측과 잘못된 예측에 대한 불확실성 분포 간의 겹침을 줄여 위험한 출력을 더 잘 탐지할 수 있도록 하기 위해.
• 모델 정확도를 떨어뜨리지 않은 채 몬테카를로 드롭아웃(MC-Dropout)의 校정을 향상시키기 위해.
• 신경망이 잘못된 예측에 대해 자동으로 높은 불확실성 추정치를 생성할 수 있도록 하는 학습 프레임워크를 개발하기 위해.

제안 방법

• 예측의 校정 오차를 최소화하기 위해 교차 엔트로피와 기대 캘리브레이션 오차(ECE)를 조합한 하이브리드 손실 함수를 제안한다.
• 불확실성 간 분리도를 향상시키기 위해 교차 엔트로피와 예측 엔트로피(PE)를 조합한 두 번째 하이브리드 손실 함수를 도입한다.
• 불확실성 측정 방법으로 MC-Dropout을 사용하며, 추론 중에 스토케스틱 전방 전파를 적용하여 예측 불확실성 추정을 수행한다.
• 정확도(교차 엔트로피를 통한)와 校정(기대 캘리브레이션 오차 또는 예측 엔트로피를 통한)을 동시에 최적화하는 다목적 학습 접근법을 채택한다.
• 새로운 손실 함수를 학습 중에 적용하여, 정확한 예측에는 낮은 불확실성, 잘못된 예측에는 높은 불확실성을 유도한다.
• 정확도를 확보하기 위해 반복적인 무작위 분할을 사용한 두 개의 시뮬레이션 데이터셋(두 개의 반달과 블롭)에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 교차 엔트로피와 ECE를 조합하면 몬테카를로 드롭아웃 예측의 校정을 향상시킬 수 있는가?
• RQ2 교차 엔트로피와 예측 엔트로피를 조합하면 정확한 예측과 잘못된 예측에 대한 불확실성 분포 간 분리도를 향상시킬 수 있는가?
• RQ3 제안된 손실 함수는 불확실성 校정을 향상시키는 동안 모델 정확도를 유지하거나 향상시키는가?
• RQ4 제안된 방법은 표준 MC-Dropout 및 앙상블 방법과 비교해 불확실성 분리도와 校정 수준에서 어떻게 성능을 내는가?

주요 결과

• 예측 엔트로피 기반 손실 함수로 학습된 MC-Dropout 모델은 정확한 예측과 잘못된 예측의 평균 불확실성 간 거리가 0.401로 가장 크게 나타나, 우수한 분리도를 보였다.
• ECE 기반 손실 함수는 표준 MC-Dropout보다 더 효과적으로 校정 오차를 감소시켰으며, 두 데이터셋 모두에서 ECE가 감소함을 확인했다.
• PE 기반 손실 함수는 정확한 예측에 대해 가장 낮은 불확실성(μ₁ = 0.069%)과 잘못된 예측에 대해 가장 높은 불확실성(μ₂ = 0.470%)을 기록하여 겹침을 최소화했다.
• 제안된 방법은 높은 정확도(PE 기반 손실에 대해 98.333%)를 유지했으며, 표준 MC-Dropout(98.333%)와 유사했고, ECE 기반 손실에선 약간 향상된 정확도(98.667%)를 기록했다.
• 불확실성 인식(UA) 점수는 PE 기반 손실 함수가 불확실성을 가장 잘 포착했으며, 특히 애로타이픽 노이즈 수준 증가 시에도 유사한 성능을 보였다.
• ECE 플롯은 두 제안된 손실 함수가 두 데이터셋과 노이즈 수준 전반에서 일관되게 낮은 校정 오차를 유도했음을 확인했다.