[论文解读] Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks

Agustinus Kristiadi, Matthias Hein+1 more|arXiv (Cornell University)|Feb 24, 2020

Adversarial Robustness in Machine Learning参考文献 52被引用 34

一句话总结

本文证明高斯近似对 ReLU 网络权重的近似，包括最后一层的贝叶斯方法，能减轻远离训练数据的预测过度自信，并有理论和实验支持这一成本低廉的“有点贝叶斯”解决方案。

ABSTRACT

The point estimates of ReLU classification networks---arguably the most widely used neural network architecture---have been shown to yield arbitrarily high confidence far away from the training data. This architecture, in conjunction with a maximum a posteriori estimation scheme, is thus not calibrated nor robust. Approximate Bayesian inference has been empirically demonstrated to improve predictive uncertainty in neural networks, although the theoretical analysis of such Bayesian approximations is limited. We theoretically analyze approximate Gaussian distributions on the weights of ReLU networks and show that they fix the overconfidence problem. Furthermore, we show that even a simplistic, thus cheap, Bayesian approximation, also fixes these issues. This indicates that a sufficient condition for a calibrated uncertainty on a ReLU network is "to be a bit Bayesian". These theoretical results validate the usage of last-layer Bayesian approximation and motivate a range of a fidelity-cost trade-off. We further validate these findings empirically via various standard experiments using common deep ReLU networks and Laplace approximations.

研究动机与目标

• 动机并形式化 ReLU 网络中的过度自信问题及其对校准与鲁棒性的影响。
• 发展理论结果，表明高斯权重近似能在远离训练数据的情况下稳定预测置信度。
• 表明最小化的贝叶斯处理，特别是最后一层贝叶斯，足以修正校准而不损害分布内的准确性。
• 使用 Laplace/高斯近似在常见深度 ReLU 架构上进行实证实验以验证理论。

提出的方法

• 在权重上采用高斯近似 p(θ|D) 来建模网络预测，并推导预测分布。
• 使用 probit/phi 近似将高斯权重不确定性与校准的预测概率相关联（方程3–5）。
• 证明一个不变性性质，表明在高斯边缘化下 MAP 决策保持不变（命题 2.2）。
• 推导当输入样本远离训练数据时预测置信度的渐近界限（定理 2.3 与 2.4）。
• 表明最后一层高斯近似足以实现有限的远离置信度（定理 2.4）。
• 应用 Laplace 近似（全网络和最后一层）来分析并量化对校准与 OOD 检测的影响（命题 2.5 及相关讨论）。

实验结果

研究问题

• RQ1 在神经网络权重上引入高斯不确定性是否能缓解 ReLU 分类器在远离训练数据时的过度自信？
• RQ2 是否需要对整个网络进行贝叶斯处理，还是一个轻量的最后一层贝叶斯方法就足以实现校准不确定性？
• RQ3 高斯近似如何影响出分布输入的预测置信度的渐近行为？
• RQ4 这些理论见解是否扩展到多类分类和实际的 OOD 检测场景？
• RQ5 在 Laplace 近似中设置先验方差以在分布内准确性与分布外校准之间取得平衡的实用策略是什么？

主要发现

• 高斯权重不确定性通过将远离数据的预测置信度推向由均值和协方差决定的有限界来缓解 ReLU 网络中的过度自信。
• 最后一层高斯近似足以获得校准的不确定性，而不改变训练后的 MAP 网络的决策边界。
• 全网络高斯近似进一步约束远离的置信度，并将其与雅可比矩阵和权重协方差的最小特征值相关联。
• Laplace 近似提供在不重新训练的情况下获得贝叶斯修正的实际途径，先验方差控制远离的置信度。
• 在常见架构（LeNet、ResNet-18）和数据集（二分类和多分类）上的经验结果印证理论预测并提升 OOD 检测性能。
• 在这一校准任务中，最后一层贝叶斯方法在实践中往往优于全网络贝叶斯方法。