[论文解读] Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network

Oscar Chang, Yuling Yao+2 more|arXiv (Cornell University)|May 23, 2019

Advanced Neural Network Applications参考文献 58被引用 5

一句话总结

本文提出了一种参数高效的变分贝叶斯神经网络方法——集成模型修补（Ensemble Model Patching），可在大型深度神经网络（如ResNet-18）中实现贝叶斯不确定性估计，且开销极低。通过构建一种通用的基于集成的贝叶斯神经网络变分族，该方法实现了近乎零的参数和编程开销——与非贝叶斯训练相当——同时在ImageNet上优于MC正则化，在准确率、校准性和鲁棒性方面表现更优，实现了近乎完美的校准效果。

ABSTRACT

Two main obstacles preventing the widespread adoption of variational Bayesian neural networks are the high parameter overhead that makes them infeasible on large networks, and the difficulty of implementation, which can be thought of as "programming overhead." MC dropout [Gal and Ghahramani, 2016] is popular because it sidesteps these obstacles. Nevertheless, dropout is often harmful to model performance when used in networks with batch normalization layers [Li et al., 2018], which are an indispensable part of modern neural networks. We construct a general variational family for ensemble-based Bayesian neural networks that encompasses dropout as a special case. We further present two specific members of this family that work well with batch normalization layers, while retaining the benefits of low parameter and programming overhead, comparable to non-Bayesian training. Our proposed methods improve predictive accuracy and achieve almost perfect calibration on a ResNet-18 trained with ImageNet.

研究动机与目标

• 解决变分贝叶斯神经网络在大规模模型中应用时面临的高参数和高编程开销问题。
• 开发一种在批量归一化层中能有效工作的贝叶斯方法，而MC正则化在此类层中常失效。
• 在无需对现有训练流程做重大修改的前提下，实现在ResNet-18和PyramidNet等现代架构上的可扩展贝叶斯深度学习。
• 在ImageNet等大规模数据集上实现最先进的不确定性校准和预测性能。
• 提供对标准层的一对一替换方案，无需修改网络架构，确保部署简便。

提出的方法

• 提出一种通用的基于集成的贝叶斯神经网络变分族，统一了隐式集成与显式集成，其中MC正则化可视为特例。
• 引入两种新型变分分布——集成模型修补（EMP）及其变体ECMP——专为与批量归一化兼容并可扩展至深层网络而设计。
• 采用基于补丁的参数化方式，将每个权重替换为可学习的参数集合，实现极低的参数开销（ResNet-18为17.9%）和高效的推理。
• 在推理过程中使用蒙特卡洛采样估计预测不确定性，同时保持与标准非贝叶斯训练相当的计算成本。
• 将该方法作为全连接层和卷积层的即插即用替代方案，无需修改网络架构或反向传播过程。
• 利用重参数化技巧实现对集合参数的可微训练，确保端到端优化。

实验结果

研究问题

• RQ1 是否能在几乎零参数开销的前提下训练贝叶斯神经网络，同时在大规模数据集上保持高性能？
• RQ2 如何使贝叶斯不确定性估计与批量归一化层兼容，而避免MC正则化常遇到的失效问题？
• RQ3 在深度残差网络中，基于集成的变分推断能否在校准性和鲁棒性方面优于MC正则化？
• RQ4 是否可行以极低的计算和实现成本将贝叶斯神经网络扩展至ImageNet规模的模型？
• RQ5 能否构建一个统一的变分族，将隐式与显式集成方法统一于同一框架之下？

主要发现

• 集成模型修补在使用ResNet-18时于ImageNet上实现了近乎完美的校准，优于MC正则化和非贝叶斯模型。
• 在ResNet-18上，该方法仅带来17.9%的参数开销，远低于均值场高斯分布的100%和MNFG的29900%，展现出极强的可扩展性。
• 在多个回归数据集上，EMP与ECMP在测试对数似然和不确定性校准方面均持续优于MC正则化和非贝叶斯基线模型。
• 该方法保持了与标准非贝叶斯训练相当的计算成本和训练时间，支持实际部署。
• 实证结果表明，EMP在常见图像损坏下表现出更强的鲁棒性，表明其在分布偏移下的泛化能力更优。
• 该方法是首个成功将贝叶斯神经网络扩展至ImageNet数据集的方法，在校准性和准确率方面达到最先进水平。