[논문 리뷰] Revisiting the Evaluation of Uncertainty Estimation and Its Application to Explore Model Complexity-Uncertainty Trade-Off

Yukun Ding, Jinglan Liu외 2명|arXiv (Cornell University)|2019. 03. 05.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 9

한 줄 요약

이 논문은 딥 네ural 네트워크에서 불확실성 추정을 위한 표준 지표인 AUROC, AUPR, ECE, MCE에 심각한 결함이 있음을 규명하며, 선택적 예측을 위한 AURC와 신뢰도 校정을 위한 적응형 빈팅(adaptive binning)이라는 개선된 대안을 제안한다. 저자들은 모델 복잡도가 선택적 예측의 불확실성 품질에 상당한 영향을 미치지만, 校정에는 영향을 미치지 않음을 입증하여, 이전에 탐색되지 않은 복잡도-불확실성 트레이드오프를 드러낸다.

ABSTRACT

Accurately estimating uncertainties in neural network predictions is of great importance in building trusted DNNs-based models, and there is an increasing interest in providing accurate uncertainty estimation on many tasks, such as security cameras and autonomous driving vehicles. In this paper, we focus on the two main use cases of uncertainty estimation, i.e. selective prediction and confidence calibration. We first reveal potential issues of commonly used quality metrics for uncertainty estimation in both use cases, and propose our new metrics to mitigate them. We then apply these new metrics to explore the trade-off between model complexity and uncertainty estimation quality, a critically missing work in the literature. Our empirical experiment results validate the superiority of the proposed metrics, and some interesting trends about the complexity-uncertainty trade-off are observed.

연구 동기 및 목표

• 딥 러닝에서 불확실성 추정에 일반적으로 사용되는 지표의 한계를 규명하는 것.
• 모델 변화 상황에서도 문제를 야기하는 AUROC와 AUPR의 문제를 해결하기 위해 선택적 예측에 더 신뢰할 수 있는 지표로 AURC를 제안하는 것.
• 신뢰도 校정 평가의 정확성과 강건성을 향상시키기 위해 적응형 빈팅을 도입하는 것.
• 모델 복잡도와 불확실성 추정 품질 간의 상호 관계를 경험적으로 조사하는 것.
• 분류 및 의료 영상 분할 작업을 대상으로 한 광범위한 실험을 통해 제안된 지표를 검증하는 것.

제안 방법

• 선택적 예측을 위한 주요 지표로 위험-커버리지 아래 면적(AURC)을 제안하며, 모델 변화에 상관없이 일관성을 유지함.
• 신뢰도 평가에 적응형 빈팅을 도입하여, 신뢰도 분포에 따라 빈 경계를 동적으로 조정함으로써 내부 보정 효과를 줄이고 정확도 추정을 향상시킴.
• CIFAR-10 및 CIFAR-100에서 복잡도가 다른 모델들(예: WideResNet, DenseNet)을 대상으로 AURC와 적응형 빈팅을 사용해 불확실성 추정을 재평가함.
• 전체 심장 분할 데이터셋에서 U-Net 변종을 사용한 의료 영상 분할 작업에 새로운 지표를 적용하여 일반화 성능을 검증함.
• 기본 지표(ECE, MCE)와 적응형 변형(AECE, AMCE)을 비교하여 다양한 모델 아키텍처와 데이터 분포에서의 강건성과 신뢰성을 평가함.
• 선택적 예측과 신뢰도 校정 간의 이론적 연결 고리를 분석하여 경험적 조사를 안내함.

실험 결과

연구 질문

• RQ1 모델 아키텍처가 변화하더라도 성능이 안정적일 경우, 왜 표준 지표인 AUROC와 AUPR가 오해의 소지가 있는가?
• RQ2 고정 빈팅 대비 적응형 빈팅이 ECE와 MCE와 같은 校정 오차 지표의 신뢰성에 어떻게 기여하는가?
• RQ3 모델 복잡도가 선택적 예측의 불확실성 추정 품질과 신뢰도 校정 간에 어떤 영향을 미치는가?
• RQ4 AURC가 AUROC와 AUPR보다 선택적 예측 평가에 더 강건하고 일관된 지표로 기능할 수 있는가?
• RQ5 모델 크기가 증가함에 따라 다양한 작업과 데이터셋에서 불확실성 추정 품질의 경험적 추세는 어떠한가?

주요 결과

• 모델 아키텍처 변화 상황에서도 AURC는 AUROC와 AUPR보다 일관성과 신뢰성 면에서 뛰어나 선택적 예측 평가에 더 유리함.
• 적응형 빈팅은 내부 보정 효과를 감소시키고 정확도 추정을 향상시켜, ECE와 MCE보다 더 강건한 校정 오차 지표(AECE 및 AMCE)를 제공함.
• AECE는 ECE보다 항상 낮으며, 평균 차이가 0.005~0.01 수준이므로 적응형 빈팅에서의 校정 추정이 더 우수함.
• DenseNet의 경우 CIFAR-100 및 CIFAR-10에서 MCE에 비해 AMCE가 뚜렷이 낮아지며, 특히 고신뢰도 영역에서 빈팅 개선으로 인한 정확도 향상 덕분임.
• 선택적 예측의 불확실성 품질에 대해 모델 복잡도가 강력한 영향을 미치는 반면, 신뢰도 校정 지표에는 거의 영향을 주지 않음. 이는 AURC의 모델 크기 변화에 따른 추세로 명확히 드러남.
• 의료 영상 분할 작업에서는 ECE와 AECE가 거의 동일한 이유는 고신뢰도 예측이 많기 때문이지만, MCE는 여전히 불안정하여, 작은 데이터셋에서도 고정 빈팅의 한계가 드러남.