[论文解读] Improving predictions of Bayesian neural nets via local linearization

Alexander Immer, Maciej Jan Korzepa+1 more|arXiv (Cornell University)|Aug 19, 2020

Gaussian Processes and Bayesian Inference参考文献 42被引用 10

一句话总结

本文提出 'GLM 预测' 方法，通过使用基于广义高斯-牛顿（GGN）近似导出的局部线性化模型，替代原始贝叶斯神经网络（BNN），从而提升 BNN 的预测性能。该方法将 BNN 视为在 MAP 估计点附近的广义线性模型（GLM），从而实现更准确且校准度更高的预测，尤其在减少欠拟合和提升分布外（OOD）检测能力方面表现优异，在多个数据集上均持续优于标准 BNN 和 MAP 预测。

ABSTRACT

The generalized Gauss-Newton (GGN) approximation is often used to make practical Bayesian deep learning approaches scalable by replacing a second order derivative with a product of first order derivatives. In this paper we argue that the GGN approximation should be understood as a local linearization of the underlying Bayesian neural network (BNN), which turns the BNN into a generalized linear model (GLM). Because we use this linearized model for posterior inference, we should also predict using this modified model instead of the original one. We refer to this modified predictive as "GLM predictive" and show that it effectively resolves common underfitting problems of the Laplace approximation. It extends previous results in this vein to general likelihoods and has an equivalent Gaussian process formulation, which enables alternative inference schemes for BNNs in function space. We demonstrate the effectiveness of our approach on several standard classification datasets as well as on out-of-distribution detection. We provide an implementation at https://github.com/AlexImmer/BNN-predictions.

研究动机与目标

• 解决在使用广义高斯-牛顿（GGN）近似时，拉普拉斯近似 BNN 中常见的欠拟合问题。
• 解决贝叶斯神经网络中后验近似与预测推理之间的一致性问题。
• 通过基于线性化模型重新定义预测分布，提升不确定性校准度与分布外检测能力。
• 提供一种原则性、模型无关的框架，超越高斯似然，支持等价的高斯过程形式化。
• 证明使用线性化模型（GLM）进行预测，而非原始 BNN，可获得更优的实证性能。

提出的方法

• 将 GGN 近似解释为在 MAP 估计点附近对 BNN 的局部线性化，将原始非线性模型转化为广义线性模型（GLM）。
• 在该线性化 GLM 上执行后验推断，使用拉普拉斯近似，实现对参数后验的高效近似计算。
• 使用线性化 GLM 的特征计算预测分布，而非原始 BNN，从而得到 'GLM 预测' 分布。
• 证明 GLM 预测在函数空间中等价于高斯过程，从而可通过核方法实现替代推理方案。
• 该方法应用于具有高斯和非高斯似然的分类与回归任务，包括逻辑斯蒂和软最大输出。
• 在标准基准数据集（MNIST、FMIST、CIFAR10）上进行评估，并通过预测熵与 AUC 分数测试分布外检测能力。

实验结果

研究问题

• RQ1 使用线性化模型（GLM）进行预测，而非原始 BNN，是否能提升预测性能并减少欠拟合？
• RQ2 与标准 BNN 预测和 MAP 推断相比，GLM 预测在准确率、校准度与 OOD 检测方面的表现如何？
• RQ3 GLM 预测能否推广至高斯分布以外的非高斯似然？
• RQ4 GLM 预测是否存在函数空间中的等价高斯过程形式化？该形式化是否支持替代推理方法？
• RQ5 GLM 预测是否在各类架构与数据集上均持续优于现有基线？

主要发现

• 在 MNIST 上，GLM 预测准确率达到 92.24%，高于标准 BNN 预测的 92.12%；在 CIFAR10 上，准确率为 77.44%，高于 BNN 的 77.38%，且负对数似然（NLL）与期望校准误差（ECE）更低。
• 在 MNIST/Fashion-MNIST OOD 检测任务中，GLM 预测的 OOD-AUC 达到 0.947，优于 BNN 预测（0.905）与 MAP（0.892）。
• GLM 预测在 NLL 与 ECE 方面持续优于 BNN 预测，MNIST 上 ECE 降低 20%，CIFAR10 上降低 30%。
• 在所有测试的架构与数据集上，GLM 预测在 OOD 检测中表现最佳，MNIST/Fashion-MNIST 与 CIFAR10/SVHN 配对中均取得最高 AUC 分数。
• GLM 预测的高斯过程等价形式展现出更优的校准度与 OOD 检测能力，证实了理论等价性，并支持替代推理方法。
• 即使在使用 [undefah] 提供的阻尼后验时，该方法依然有效，且在大多数指标上，尤其在 OOD 检测方面，仍优于 BNN 预测。