[论文解读] Fast Predictive Uncertainty for Classification with Bayesian Deep Networks

Marius Hobbhahn, Agustinus Kristiadi+1 more|arXiv (Cornell University)|Mar 2, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用 9

一句话总结

本文提出了一种快速、解析的贝叶斯深度学习预测不确定性估计方法，通过拉普拉斯桥将网络logits上的高斯分布映射为Softmax输出上的狄利克雷分布。该方法实现了每预测O(K)复杂度的高效不确定性量化，优于蒙特卡洛采样，在保持低推理成本的同时提升了ImageNet上的top-k准确率。

ABSTRACT

In Bayesian Deep Learning, distributions over the output of classification neural networks are often approximated by first constructing a Gaussian distribution over the weights, then sampling from it to receive a distribution over the softmax outputs. This is costly. We reconsider old work (Laplace Bridge) to construct a Dirichlet approximation of this softmax output distribution, which yields an analytic map between Gaussian distributions in logit space and Dirichlet distributions (the conjugate prior to the Categorical distribution) in the output space. Importantly, the vanilla Laplace Bridge comes with certain limitations. We analyze those and suggest a simple solution that compares favorably to other commonly used estimates of the softmax-Gaussian integral. We demonstrate that the resulting Dirichlet distribution has multiple advantages, in particular, more efficient computation of the uncertainty estimate and scaling to large datasets and networks like ImageNet and DenseNet. We further demonstrate the usefulness of this Dirichlet approximation by using it to construct a lightweight uncertainty-aware output ranking for ImageNet.

研究动机与目标

• 解决贝叶斯神经网络中蒙特卡洛采样进行不确定性估计时的高计算成本问题。
• 实现在大规模分类任务中高效、解析的预测不确定性计算。
• 通过基于狄利克雷不确定性估计构建轻量级、自适应的top-k排序系统，提升不确定性感知预测性能。
• 修正原始拉普拉斯桥在贝叶斯深度学习中实际应用时的局限性。

提出的方法

• 反向应用拉普拉斯桥：从logits上的高斯近似到Softmax输出上的狄利克雷近似。
• 通过反向Softmax函数进行基变换，使狄利克雷分布更适用于拉普拉斯近似。
• 引入校正项以解决原始拉普拉斯桥在处理狄利克雷分布非高斯支撑集和多峰行为方面的局限性。
• 利用所得狄利克雷分布通过边际Beta分布的分位数重叠检测，计算不确定性感知的top-k预测。
• 算法基于不确定性重叠动态选择类别列表，确保高置信度的同时自适应调整列表长度。
• 该方法兼容任何对网络权重的高斯后验近似，包括拉普拉斯或变分推理。

实验结果

研究问题

• RQ1 拉普拉斯桥能否被有效适配以在贝叶斯深度学习中提供快速、解析的不确定性估计？
• RQ2 校正后的拉普拉斯桥在准确率和效率方面与蒙特卡洛采样及其他积分近似方法相比如何？
• RQ3 狄利克雷近似能否实现在ImageNet等大规模数据集上的可扩展不确定性估计？
• RQ4 不确定性感知的top-k预测是否能在保持低推理成本的同时提升模型性能？
• RQ5 基于不确定性的自适应排序是否能在减少列表长度的同时保持高置信度预测？

主要发现

• 所提方法在ImageNet上实现了超过85%的top-k准确率，平均列表长度低于3，显著优于标准的74.4% top-1准确率。
• 不确定性感知的top-k方法保持了高置信度，因为大多数预测仍能获得正确的top-1标签，表明不确定性未降低核心性能。
• 该方法将测试时推理成本降低至O(K)复杂度，相较于蒙特卡洛采样实现了显著提速。
• 校正后的拉普拉斯桥在估计Softmax-高斯积分方面优于常见的多分类probit近似等替代方法。
• 该方法支持自适应预测列表长度，在非可忽略的情况下k=2、3或10，展现出实际灵活性。
• 该方法在大型模型（如DenseNet）上仍具可扩展性和有效性，显示出在实时、不确定性感知部署中的前景。