[논문 리뷰] A New Perspective on Uncertainty Quantification of Deep Ensembles

Hu Shi, Nicola Pezzotti외 1명|arXiv (Cornell University)|2020. 02. 13.

Statistical Methods and Inference참고 문헌 48인용 수 6

한 줄 요약

이 논문은 예측 오차를 별도의 두 번째 신경망을 통해 모델링함으로써 불확실성 정량화를 향상시키는 이단계적 딥 앙상블 방법을 제안한다. 이는 더 나은 정규화 제어와 더 정확한 앨레아토릭 불확실성 추정을 가능하게 한다. 합성 데이터 및 MRI 데이터에서 평가한 결과, 기존의 표준 딥 앙상블 및 드롭아웃 기반 방법보다 유의미하게 뛰어난 성능을 보였다.

ABSTRACT

We present a novel perspective on uncertainty quantification in deep learning, based on the bias-variance decomposition of ensembles. We argue that the existing uncertainty estimation methods are suboptimal in estimating the prediction error of an ensemble, and propose a new two-stage procedure instead, where in the first stage we estimate the unknown function using an ensemble, and in the second stage we fit a separate neural net to the errors of the first model. We argue that this has several advantages, among which better control over regularization such as early stopping, and a more accurate approximation to the aleatoric uncertainty. We extensively test our method on both synthetic as well as real world MRI data, and find that our method significantly improves uncertainty estimates compared to various alternatives such as dropout and deep ensemble based methods.

연구 동기 및 목표

• 기존의 딥 앙상블 방법에서의 부적절한 불확실성 추정 문제를 해결하기 위해.
• 앙상블 모델에서의 조기 정지와 같은 정규화 기법에 대한 제어를 향상시키기 위해.
• 예측 오차 내의 앨레아토릭 불확실성에 더 정확한 근사치를 제공하기 위해.
• 기능 근사와 오차 모델링을 분리하여 불확실성 校정을 향상시키는 방법을 개발하기 위해.

제안 방법

• 첫 번째 단계에서, 딥 앙상블이 입력 데이터로부터 알려지지 않은 기저 함수를 추정한다.
• 두 번째 단계에서, 첫 번째 단계의 앙상블 모델의 오차를 예측하기 위한 별도의 신경망을 훈련시킨다.
• 예측된 오차와 실제 오차 간의 격차를 최소화하는 손실 함수를 사용하여 오차 모델을 최적화한다.
• 이러한 이단계적 접근은 기능 학습과 오차 모델링을 분리함으로써 더 나은 정규화 제어를 가능하게 한다.
• 예측 오차를 명시적으로 모델링함으로써 앨레아토릭 불확실성의 더 정밀한 추정이 가능해진다.

실험 결과

연구 질문

• RQ1 예측 오차의 체계적 분해를 통해 딥 앙상블의 불확실성 정량화는 어떻게 향상될 수 있는가?
• RQ2 기능 근사에서 오차 모델링을 분리함으로써 불확실성 보정은 얼마나 향상되는가?
• RQ3 제안된 방법은 표준 앙상블 훈련에 비해 더 나은 정규화 제어를 달성할 수 있는가?
• RQ4 드롭아웃 및 표준 딥 앙상블 방법에 비해 이 방법은 앨레아토릭 불확실성 추정에서 어떻게 비교되는가?

주요 결과

• 제안된 이단계적 방법은 합성 데이터 및 실제 MRI 데이터 모두에서 기준 방법에 비해 불확실성 추정을 크게 향상시켰다.
• 오차 모델의 별도 훈련 덕분에 특히 조기 정지에서 정규화에 대한 더 나은 제어가 가능해졌다.
• 예측 오차를 명시적으로 모델링함으로써 앨레아토릭 불확실성에 대한 더 정확한 근사치를 제공하였다.
• 교정 및 예측 불확실성 품질 측면에서 표준 딥 앙상블 및 드롭아웃 기반의 불확실성 추정보다 뛰어난 성능을 보였다.