[논문 리뷰] Is MC Dropout Bayesian?

Loïc Le Folgoc, Vasileios Baltatzis외 8명|arXiv (Cornell University)|2021. 10. 08.

Gaussian Processes and Bayesian Inference인용 수 8

한 줄 요약

이 논문은 몬테카를로 드롭아웃(Monte Carlo Dropout)이 베이지안 불확실성 정량화를 제공한다는 가정을 도전하며, 이것이 본질적으로 진정한 베이지안 모델을 변화시키고 진정한 모델 매개변수에 대해 확률을 0으로 부여한다는 것을 입증한다. 대신, 구조화된(대각선 + 저랭크) 정규분포 및 가우시안 혼합 변분 가족을 사용하는 파이토치 기반의 일반적이고 유연한 변분 추론 엔진을 제안하여 딥러닝에서 정확하고 스케일러블한 불확실성 정량화를 실현한다.

ABSTRACT

MC Dropout is a mainstream "free lunch" method in medical imaging for approximate Bayesian computations (ABC). Its appeal is to solve out-of-the-box the daunting task of ABC and uncertainty quantification in Neural Networks (NNs); to fall within the variational inference (VI) framework; and to propose a highly multimodal, faithful predictive posterior. We question the properties of MC Dropout for approximate inference, as in fact MC Dropout changes the Bayesian model; its predictive posterior assigns $0$ probability to the true model on closed-form benchmarks; the multimodality of its predictive posterior is not a property of the true predictive posterior but a design artefact. To address the need for VI on arbitrary models, we share a generic VI engine within the pytorch framework. The code includes a carefully designed implementation of structured (diagonal plus low-rank) multivariate normal variational families, and mixtures thereof. It is intended as a go-to no-free-lunch approach, addressing shortcomings of mean-field VI with an adjustable trade-off between expressivity and computational complexity.

연구 동기 및 목표

• 몬테카를로 드롭아웃이 신경망에서 진정으로 베이지안 근사 추론을 수행하는지 비판적으로 평가하는 것.
• 몬테카를로 드롭아웃이 기초가 되는 베이지안 모델을 수정하고 진정한 모델 매개변수에 대해 비영확률을 할당하지 않는다는 것을 입증하는 것.
• 임의의 딥러닝 모델에 적용 가능한 일반적인, 효율적인 변분 추론 엔진을 개발하는 것.
• 구조화된 및 혼합 변분 가족을 활용한 실용적이고 오픈소스의 파이토치 기반 구현을 제공하여 향상된 불확실성 정량화를 실현하는 것.
• 진정한 사후 분포에 대한 충실도를 유지하면서 MC 드롭아웃의 신뢰할 수 있는 대안을 제공하는 것.

제안 방법

• 논문은 변분 추론을 기초로 한 기초 하한값(ELBO) 최대화로 공식화하며, 진정한 사후 분포를 근사하기 위해 다재다능한 변분 가족을 사용한다.
• 표현력과 계산 비용의 균형을 이루기 위해 대각선 및 저랭크 공분산 성분을 조합한 구조화된 정규 변분 가족을 도입한다.
• 다중 모달 사후 분포를 모델링하기 위해 이러한 구조화된 정규분포의 혼합체(sGMM-VI)로 프레임워크를 확장한다.
• PyTorch에 구현되어 있으며, 어떤 신경망 아키텍처와도 즉각 통합 가능한 플러그 앤 플레이 방식으로 설계되어 있다.
• KL 발산과 로그우도를 지표로 사용하여, 다변수 정규분포 및 RBF 회귀 작업과 같은 폐형 기준에서 성능을 평가한다.
• MAP, 평균장 변분 추론(Mean-field VI), 구조화된 변분 추론과의 비교를 통해 다양한 시뮬레이션 환경에서 사후 분포 근사의 질을 평가한다.

실험 결과

연구 질문

• RQ1 MC 드롭아웃은 진정으로 베이지안 추론을 수행하는가, 아니면 기초 확률 모델을 변화시키는가?
• RQ2 폐형 설정에서 MC 드롭아웃의 진정한 예측 사후 분포는 무엇이며, 진정한 사후 분포와 비교해보면 어떻게 되는가?
• RQ3 표현력과 계산 효율성의 균형을 이루는 일반적인 변분 추론 엔진을 딥러닝 모델에 적용할 수 있는가?
• RQ4 구조화된 변분 가족(대각선 + 저랭크)의 성능이 MC 드롭아웃 및 평균장 VI에 비해 사후 분포 근사의 질 측면에서 어떻게 되는가?
• RQ5 MC 드롭아웃의 예측 사후 분포가 다중 모달성을 띠는 것은 진정한 지식 불확실성의 반영인가, 아니면 설계적 결함에서 비롯된 것인가?

주요 결과

• 폐형 기준에서 MC 드롭아웃은 진정한 모델 매개변수에 대해 확률을 0으로 할당하여 진정한 사후 분포를 근사하지 못함을 보여준다.
• MC 드롭아웃의 다중 모달 예측 사후 분포는 그 샘플링 메커니즘의 산물이지 진정한 지식 불확실성의 반영이 아니다.
• RBF 회귀에서 진정한 매개변수의 로그우도는 MC 드롭아웃 기반으로 −∞이 되지만, 구조화된 변분 추론 방법은 비영이고 의미 있는 로그우도를 부여한다.
• 저랭크 성분을 포함한 구조화된 정규 변분 가족(sN-VI)은 다변수 정규분포 작업에서 진정한 사후 분포와 KL 발산 0.0979를 달성하여 MC 드롭아웃을 크게 앞서간다.
• 4개의 저랭크 성분을 가진 sN-VI는 KL 발산 0.8774를 기록했고, 반면 MC 드롭아웃은 사전 검증에서 유한한 KL 발산을 계산하지 못했다.
• 제안된 변분 엔진은 모델 표현력과 계산 비용 사이의 조절 가능한 트레이드오���을 가능하게 하여, MC 드롭아웃에 대한 강력한 대안을 제공한다.