[논문 리뷰] Towards calibrated and scalable uncertainty representations for neural networks

Nabeel Seedat, Christopher Kanan|arXiv (Cornell University)|2019. 10. 28.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 11

한 줄 요약

이 논문은 코사인 냉각과 웜 리스타트를 결합한 새로운 베이지안 신경망 파라미터 추정 방법인 RECAST를 제안한다. 이 방법은 확률적 경사 하강 랭드킨 역학(SGLD)과 융합하여 확장 가능한 잘 校정된 불확실성 추정을 가능하게 한다. RECAST는 예측 엔트로피와 지식적 불확실성과 함께 사용했을 때 기대 캘리브레이션 오차(ECE)가 2.37%로 가장 낮고, SGLD, MCD, VI, 앙상블 방법들을 능가하는 성능을 보이며, 손상된 데이터에서 모델 정확도와 불확실성 간 상관관계도 최고 수준을 기록한다.

ABSTRACT

For many applications it is critical to know the uncertainty of a neural network's predictions. While a variety of neural network parameter estimation methods have been proposed for uncertainty estimation, they have not been rigorously compared across uncertainty measures. We assess four of these parameter estimation methods to calibrate uncertainty estimation using four different uncertainty measures: entropy, mutual information, aleatoric uncertainty and epistemic uncertainty. We evaluate the calibration of these parameter estimation methods using expected calibration error. Additionally, we propose a novel method of neural network parameter estimation called RECAST, which combines cosine annealing with warm restarts with Stochastic Gradient Langevin Dynamics, capturing more diverse parameter distributions. When benchmarked against mutilated image data, we show that RECAST is well-calibrated and when combined with predictive entropy and epistemic uncertainty it offers the best calibrated measure of uncertainty when compared to recent methods.

연구 동기 및 목표

• 신경망의 불확실성에 대한 파라미터 추정 방법 간 철저한 비교가 부족한 문제를 해결하기 위해.
• 확장 가능하고 잘 校정된 불확실성 표현을 가능하게 하는 베이지안 신경망을 위한 방법을 개발하기 위해.
• 모델 변형에 대한 다양한 불확실성 측정법(엔트로피, 상호정보량, 애나토릭 불확실성, 지식적 불확실성)의 성능을 평가하기 위해.
• 파라미터 추정 방법의 선택이 캘리브레이션과 불확실성 표현에 영향을 미치는지 조사하기 위해.
• RECAST가 복잡한 사후 분포를 더 잘 탐색함으로써 불확실성 캘리브레이션을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 코사인 냉각과 웜 리스타트를 SGLD에 통합한 새로운 SG-MCMC 방법인 RECAST를 제안한다.
• 학습 중에 동적으로 학습률을 조정함으로써 파rameter 공간 내 다양한 영역을 탐색하도록 코사인 냉각을 활용한다.
• 소형 배치 기반 경사 하강을 사용하여 사후 분포 샘플링을 수행하며, 계산 복잡도를 O(m)로 유지하여 확장성 확보.
• RECAST를 예측 엔트로피, 상호정보량, 애나토릭 불확실성, 지식적 불확실성의 네 가지 불확실성 측정법과 융합한다.
• 모든 방법과 변형에 대해 캘리브레이션 수준을 평가하기 위해 기대 캘리브레이션 오차(ECE)를 주요 평가 지표로 사용한다.
• 분포 이탈을 시뮬레이션하기 위해 손상된 이미지 데이터를 활용하여 불확실성의 내성적 안정성 평가.

실험 결과

연구 질문

• RQ1 SGLD에 코사인 냉각과 웜 리스타트를 조합함으로써 베이지안 신경망의 사후 분포 탐색과 불확실성 캘리브레이션 향상이 이루어지는가?
• RQ2 예측 엔트로피, 상호정보량, 애나토릭 불확실성, 지식적 불확실성 등의 동일한 불확실성 측정법을 사용할 때, SGLD, MCD, VI, 앙상블 등의 다른 파라미터 추정 방법 간 캘리브레이션 성능는 어떻게 비교되는가?
• RQ3 분포 이탈 상황에서 예측 엔트로피, 지식적 불확실성, 상호정보량, 애나토릭 불확실성 중 어떤 측정법이 모델의 자신감을 가장 잘 반영하는가?
• RQ4 정답 레이블이 제공되지 않을 경우 지식적 불확실성은 실제 모델 정확도를 신뢰할 수 있는 대체 지표로 활용될 수 있는가?
• RQ5 점점 증가하는 데이터 손상(마이터레이션) 조건 하에서 RECAST는 다른 기존 방법들보다 더 나은 캘리브레이션 성능 유지를 보이는가?

주요 결과

• RECAST는 기존 논문 [6]의 동일한 데이터셋에서 기대 캘리브레이션 오차(ECE) 기준 3.02% 대비 가장 낮은 ECE 2.37%를 기록하여 최고의 성능을 보였다.
• 예측 엔트로피와 지식적 불확실성과 함께 사용했을 때, RECAST는 모든 테스트된 방법들 중 가장 잘 校정된 불확실성 표현을 제공한다.
• RECAST는 ECE와 데이터 손상 수준 사이에 강한 선형 상관관계를 보이며, 분포 이탈 상황에서도 일관된 캘리브레이션 성능 유지를 확인했다.
• RECAST를 통해 추정한 지식적 불확실성은 실제 모델 정확도와 높은 상관관계를 보이며, 정답 레이블이 없더라도 예측 신뢰도의 신뢰할 수 있는 대체 지표로 활용 가능하다.
• 가중치 분포 분석 결과, RECAST는 다른 방법들보다 더 넓고 다양한 파arameter 공간을 탐색함을 확인했으며, 이는 뛰어난 불확실성 표현 성능의 이유를 설명한다.
• 모든 방법들 중에서 특히 지식적 불확실성과 예측 엔트로피 측정법과 조합했을 때, 점점 증가하는 데이터 손상 조건 하에서도 RECAST가 가장 뛰어난 캘리브레이션과 불확실성 매핑 성능 유지를 보였다.