[논문 리뷰] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

Balaji Lakshminarayanan, Alexander Pritzel외 1명|arXiv (Cornell University)|2016. 12. 05.

Adversarial Robustness in Machine Learning인용 수 2,980

한 줄 요약

이 논문은 이미지넷을 포함한 다양한 task에서 도메인 시프트에 대한 보정된 불확실성과 로버스트성을 보이는 예측 불확실성 추정을 위해 적절한 점수 규칙으로 학습된 심층 앙상블(선택적 적대적 학습 포함)을 사용하는 간단하고 확장 가능한 비베이지안 방법을 제안한다.

ABSTRACT

Deep neural networks (NNs) are powerful black box predictors that have recently achieved impressive performance on a wide spectrum of tasks. Quantifying predictive uncertainty in NNs is a challenging and yet unsolved problem. Bayesian NNs, which learn a distribution over weights, are currently the state-of-the-art for estimating predictive uncertainty; however these require significant modifications to the training procedure and are computationally expensive compared to standard (non-Bayesian) NNs. We propose an alternative to Bayesian NNs that is simple to implement, readily parallelizable, requires very little hyperparameter tuning, and yields high quality predictive uncertainty estimates. Through a series of experiments on classification and regression benchmarks, we demonstrate that our method produces well-calibrated uncertainty estimates which are as good or better than approximate Bayesian NNs. To assess robustness to dataset shift, we evaluate the predictive uncertainty on test examples from known and unknown distributions, and show that our method is able to express higher uncertainty on out-of-distribution examples. We demonstrate the scalability of our method by evaluating predictive uncertainty estimates on ImageNet.

연구 동기 및 목표

• 표준 정확도 이상의 신뢰할 수 있는 예측 불확실성의 필요성을 깊은 신경망에서 고찰한다.
• 확률적 신경망, 적절한 점수 규칙, 적대적 학습, 앙상블을 결합한 간단하고 확장 가능한 방법을 제안한다.
• ImageNet를 포함한 분류 및 회귀 벤치마크에서 보정 및 이상 분포에 대한 강건성을 평가한다.
• 근사 베이지안 방법에 필적하는 예측 불확실성에 대한 실용적이고 분산 학습 친화적인 기준선을 제공한다.

제안 방법

• 적절한 점수 규칙(예: 로그가능도, 브라이어 점수)을 사용하여 p_theta(y|x)를 모델링하는 확률적 신경망을 훈련한다.
• 회귀의 경우 네트워크가 평균과 분산을 출력하도록 하고, 음의 로그가능도(양의 분산을 가진) 최소화를 소프트플러스 변환을 통해 수행한다.
• 원한다면 적대적 예제로 확장하여 예측 분포를 매끄럽게 만들기 위해 적대적 학습을 적용한다.
• M개의 네트워크 앙상블을 훈련한다(배깅 없음; 각 네트워크에 전체 데이터를 사용) 예측은 평균화하여 혼합 모델을 형성한다.
• 혼합 평균과 분산을 맞춰 혼합 예측 분포를 가우시안으로 근사하여 예측 확률 및 구간의 효율적 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 깊은 앙상블이 근사 베이지안 방법과 비교하여 잘 보정된 예측 불확실성을 제공할 수 있는가?
• RQ2 적대적 학습이 예측 불확실성의 매끄러움과 신뢰성을 향상시키는가?
• RQ3 앙상블 크기가 보정, 불확실성, 이상 분Distrib 데이터에 대한 강건성에 어떻게 영향을 미치는가?
• RQ4 이 비베이지안 앙상블이 이미지넷과 같은 대규모 데이터셋에서 불확실성 품질을 유지하며 확장될 수 있는가?
• RQ5 분류 작업에서 알려진 클래스 분포와 알려지지 않은(오 ut-of-distribution) 분포에 대해 방법은 어떻게 작동하는가?

주요 결과

• 적절한 점수 규칙 훈련으로 심층 앙상블은 회귀 및 분류 작업에서 종종 MC-dropout 및 PBP에 필적하거나 그보다 나은 잘 보정된 예측 불확실성을 산출한다.
• 적대적 학습은 일부 데이터셋에서 예측 분포를 더 매끄럽게 하고 불확실성 추정치를 개선할 수 있지만 그 이점은 작업 및 앙상블 크기에 따라 다르다.
• 앙상블 크기 M을 늘리면 정확도와 예측 불확실성의 품질이 크게 향상된다(더 낮은 NLL 및 Brier 점수, 더 나은 보정).
• 이미지넷에서 앙상블은 단일 모델에 비해 분류 정확도와 예측 불확실성을 모두 향상시킨다(더 낮은 NLL 및 Brier 점수).
• 이 방법은 이상 분포 입력에 대해 더 높은 예측 불확실성을 산출한다(예: MNIST 대 NotMNIST, SVHN 대 CIFAR-10), 보지 못한 클래스에서의 과신용 문제를 완화한다.
• 고정 신뢰도 임계값에서 정확도를 평가할 때, 심층 앙상블이 MC-dropout보다 더 강건하여 과신한 오답 예측을 줄인다.