[论文解读] Is MC Dropout Bayesian?

Loïc Le Folgoc, Vasileios Baltatzis+8 more|arXiv (Cornell University)|Oct 8, 2021

Gaussian Processes and Bayesian Inference被引用 8

一句话总结

本文挑战了蒙特卡洛（MC）Dropout能够提供贝叶斯不确定性量化这一假设，证明其从根本上改变了真实的贝叶斯模型，并为真实参数分配了零概率。相反，本文提出了一种通用、灵活的变分推断引擎，基于PyTorch实现，采用结构化（对角+低秩）正态分布和高斯混合变分族，以实现深度学习中准确且可扩展的不确定性估计。

ABSTRACT

MC Dropout is a mainstream "free lunch" method in medical imaging for approximate Bayesian computations (ABC). Its appeal is to solve out-of-the-box the daunting task of ABC and uncertainty quantification in Neural Networks (NNs); to fall within the variational inference (VI) framework; and to propose a highly multimodal, faithful predictive posterior. We question the properties of MC Dropout for approximate inference, as in fact MC Dropout changes the Bayesian model; its predictive posterior assigns $0$ probability to the true model on closed-form benchmarks; the multimodality of its predictive posterior is not a property of the true predictive posterior but a design artefact. To address the need for VI on arbitrary models, we share a generic VI engine within the pytorch framework. The code includes a carefully designed implementation of structured (diagonal plus low-rank) multivariate normal variational families, and mixtures thereof. It is intended as a go-to no-free-lunch approach, addressing shortcomings of mean-field VI with an adjustable trade-off between expressivity and computational complexity.

研究动机与目标

• 批判性评估MC Dropout是否真正实现了神经网络中的贝叶斯近似推断。
• 证明MC Dropout改变了底层贝叶斯模型，并未能为真实模型参数分配非零概率。
• 开发一种通用、高效的变分推断引擎，适用于任意深度学习模型，且可调节表达能力和计算成本。
• 提供一个实用的、基于PyTorch的开源实现，支持结构化和混合变分族，以提升不确定性量化性能。
• 提供一种可靠的MC Dropout替代方案，能够忠实反映真实后验分布。

提出的方法

• 本文将变分推断表述为最大化证据下界（ELBO），并使用灵活的变分族来近似真实后验分布。
• 提出一种结合对角与低秩协方差分量的结构化正态变分族，以在表达能力与计算成本之间取得平衡。
• 将框架扩展至此类结构化正态分布的混合（sGMM-VI），以建模多模态后验分布。
• 该方法在PyTorch中实现，设计为可即插即用，适用于任意神经网络架构。
• 在闭式基准测试中评估该方法，包括多变量正态分布和RBF回归任务，使用KL散度和对数似然作为评估指标。
• 在多个合成设置中，将MC Dropout与MAP、平均场VI和结构化VI进行比较，以评估后验拟合质量。

实验结果

研究问题

• RQ1 MC Dropout是否真正执行了贝叶斯推断，还是改变了底层概率模型？
• RQ2 在闭式设定下，MC Dropout的真实预测后验分布是什么？其与真实后验相比如何？
• RQ3 能否设计一种通用的变分推断引擎，使其在深度学习模型中平衡表达能力与计算效率？
• RQ4 与MC Dropout和平均场VI相比，结构化变分族（对角+低秩）在后验近似质量方面表现如何？
• RQ5 MC Dropout预测后验的多模态特性是否反映了真实的模型不确定性，还是源于设计缺陷？

主要发现

• 在闭式基准测试中，MC Dropout为真实模型参数分配了零概率，表明其无法近似真实后验分布。
• MC Dropout的多模态预测后验是其采样机制的产物，而非真实认知不确定性的真实反映。
• 在RBF回归任务中，MC Dropout对真实参数的对数似然为−∞，而结构化VI方法则赋予其非零且有意义的似然值。
• 在多变量正态任务中，包含低秩分量的结构化正态变分族（sN-VI）与真实后验的KL散度为0.0979，显著优于MC Dropout。
• 当使用4个低秩分量时，sN-VI的KL散度为0.8774，而MC Dropout在合理性检查中甚至无法计算有限的KL散度。
• 所提出的变分推断引擎实现了模型表达能力与计算成本之间的可调制权衡，为MC Dropout提供了一种稳健的替代方案。