[논문 리뷰] Qualitative Analysis of Monte Carlo Dropout

Ronald Seoh|arXiv (Cornell University)|2020. 07. 03.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 30

한 줄 요약

논문은 몬테카를로(MC) 드롭아웃을 베이지안 신경망에 대한 실용적 변분 추론 방법으로 분석하며, 질적 및 실험적 연구를 통해 불확실성 추정치, 이점 및 비용을 자세히 제시합니다. MC 드롭아웃이 인식적(에피스테믹) 불확실성을 포착하는 방식에 대해 강조하고, 하이퍼파라미터, 학습 요건 및 aleatoric 불확실성으로의 확장 가능성에 대해 논의합니다.

ABSTRACT

In this report, we present qualitative analysis of Monte Carlo (MC) dropout method for measuring model uncertainty in neural network (NN) models. We first consider the sources of uncertainty in NNs, and briefly review Bayesian Neural Networks (BNN), the group of Bayesian approaches to tackle uncertainties in NNs. After presenting mathematical formulation of MC dropout, we proceed to suggesting potential benefits and associated costs for using MC dropout in typical NN models, with the results from our experiments.

연구 동기 및 목표

• 신뢰할 수 있는 고위험 의사결정을 위한 신경망의 불확실성 정량화 필요성 동기 부여.
• MC 드롭아웃을 변분 추론 접근법으로서의 설명과 GP 연결 고찰.
• 질적 및 실험적 분석을 통해 MC 드롭아웃의 실용적 이점과 비용 평가.
• 모델 aleatoric 불확실성의 확장 가능성과 하이퍼파라미터, 학습 요구사항 논의.

제안 방법

• 신경망에서의 불확실성 원천(에피스테믹 vs. 알레아토릭) 설명.
• W_i = M_i · diag([Z_i,j])이고 Z_i,j ~ Bernoulli(p_i)로 표현된 변분 베이즈 접근으로 MC 드롭아웃 공식화 제시.
• 예측 후방분포를 T개의 확률적 순전파를 몬테카를로 평균화하여 도출(식 10).
• MC 드롭아웃을 가우시안 프로세스 근사와 연결하고 하이퍼파라미터(p, τ, l) 논의.
• 질적 및 실험 데이터 시나리오를 통해 불확실성 시각화 및 표준 드롭아웃과의 비교(그림 1–4, 5–9).
• 이질적(입력 의존적) aleatoric 불확실성(식 14)으로의 확장 가능성 탐색.

실험 결과

연구 질문

• RQ1 MC 드롭아웃이 신경망에서 어떤 불확실성 정보를 포착하는가?
• RQ2 드롭아웃 비율, 모델 정밀도, 학습 에폭 수가 예측 불확실성 및 성능에 어떤 영향을 미치는가?
• RQ3 실제 데이터셋에서 MC 드롭아웃의 실용적 비용과 이점은 무엇인가?
• RQ4 MC 드롭아웃을 이질적 aleatoric 불확실성으로 확장할 수 있는가?
• RQ5 안정된 불확실성 추정치를 얻기 위해 필요한 테스트 시점 예측의 수는 어느 정도인가?

주요 결과

• MC 드롭아웃은 여러 확률적 순전파의 예측을 평균하여 베이지안 후방분포를 근사함으로써 불확실성 추정치를 제공합니다.
• 더 높은 드롭아웃 비율은 예측 불확실성을 증가시키며 과도한 정규화로 모델 적합도가 떨어질 수 있고, 모델 정밀도 τ는 추가적인 동질적 잡음을 조절합니다.
• 더 많은 학습 에폭은 불확실성 추정치의 품질을 향상시키며, 매우 적은 에폭은 불확실성 패턴의 과소적합을 초래할 수 있습니다.
• MC 드롭아웃은 일부 회귀 문제에서 예측 성능을 개선하고 분할 간 점수 분산을 줄이는 반면, 모든 데이터셋에서 표준 드롭아웃보다 우수하진 않습니다(Boston Housing, CIFAR-10 CNNs).
• 일부 테스트 예측 수(약 50)가 일반적으로 안정적인 불확실성 추정에 충분하며, 더 많은 예측은 수익이 감소합니다.
• MC 드롭아웃의 이질적 aleatoric 불확실성(τ(x))으로의 확장은 총 예측 불확실성을 포착할 수 있지만, 인식적 불확실성 vs. aleatoric 분리의 해석은 여전히 비자명합니다.