[论文解读] Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference

Yarin Gal, Zoubin Ghahramani|arXiv (Cornell University)|Jun 6, 2015

Gaussian Processes and Bayesian Inference参考文献 28被引用 614

一句话总结

本文提出了一种计算高效的贝叶斯卷积神经网络（CNN），采用伯努利变分推断在CNN卷积核上放置概率分布，从而实现不确定性估计，并在小样本数据集上提升对过拟合的鲁棒性。通过将丢弃训练重新解释为近似贝叶斯推断，该方法在无需额外参数的情况下实现了蒙特卡洛丢弃推断，在CIFAR-10上实现了最先进性能，同时提升了泛化能力并减少了过拟合。

ABSTRACT

Convolutional neural networks (CNNs) work well on large datasets. But labelled data is hard to collect, and in some applications larger amounts of data are not available. The problem then is how to use CNNs with small data -- as CNNs overfit quickly. We present an efficient Bayesian CNN, offering better robustness to over-fitting on small data than traditional approaches. This is by placing a probability distribution over the CNN's kernels. We approximate our model's intractable posterior with Bernoulli variational distributions, requiring no additional model parameters. On the theoretical side, we cast dropout network training as approximate inference in Bayesian neural networks. This allows us to implement our model using existing tools in deep learning with no increase in time complexity, while highlighting a negative result in the field. We show a considerable improvement in classification accuracy compared to standard techniques and improve on published state-of-the-art results for CIFAR-10.

研究动机与目标

• 解决在标注数据有限的小样本数据集上训练CNN时出现的过拟合问题。
• 开发一种提供不确定性估计且不增加模型复杂度的贝叶斯CNN。
• 为在卷积层中使用丢弃提供理论基础的解释，尽管该方法在实践中常因性能下降而被避免。
• 证明蒙特卡洛丢弃可作为CNN中贝叶斯推断的有效近似，从而提升测试准确率。

提出的方法

• 使用伯努利分布作为CNN卷积核权重后验的变分近似，无需引入额外参数。
• 将标准丢弃训练重新解释为贝叶斯神经网络中的近似贝叶斯推断，具体采用基于伯努利分布的变分推断。
• 通过在测试时对网络进行多次前向传播（保持丢弃激活）并取平均，实现蒙特卡洛丢弃推断。
• 通过在训练期间在每个卷积层后添加丢弃，使用标准深度学习工具实现贝叶斯CNN。
• 推导了丢弃与变分推断之间的联系，表明丢弃可近似实现对卷积核权重的边缘化。
• 使用现有的深度学习框架进行模型训练，训练时间与计算开销与标准模型完全相同。

实验结果

研究问题

• RQ1 为何在CNN的卷积层后应用标准丢弃无法提升性能？
• RQ2 能否将丢弃正式解释为贝叶斯神经网络中近似贝叶斯推断的一种形式？
• RQ3 蒙特卡洛丢弃在CNN中是否能作为贝叶斯推断的统计有效近似，特别是在卷积层后应用时？
• RQ4 与标准CNN相比，采用伯努利变分推断的贝叶斯CNN是否能在小样本数据集上实现更好的泛化能力和不确定性估计？
• RQ5 在测试时推断中，达到稳定性能提升所需的蒙特卡洛采样数最优值是多少？

主要发现

• 所提出的使用MC丢弃的贝叶斯CNN在增强版CIFAR-10数据集上实现了7.51%的测试误差，显著优于标准方法。
• 仅经过20次前向传播，MC丢弃即可将测试误差降低超过一个标准差，且在100次采样时已实现收敛。
• 该方法在多个网络架构（NIN、DSN、增强版-DSN）上均提升了性能，其中在增强版-DSN模型上获得最大性能增益。
• 该方法为标准丢弃在卷积层中失效的问题提供了数学上严谨的解决方案，解决了该领域内一个已知的负面结果。
• 变分后验无需引入额外参数，训练时间与标准模型完全一致，仅在测试时因平均操作带来微小的计算开销增加。
• 该方法在ImageNet上未提升性能，表明大规模数据集可能已提供足够的正则化，但该方法在较小数据子集上可能更具优势。