[论文解读] Dropout as a Bayesian Approximation: Appendix

Yarin Gal, Zoubin Ghahramani|arXiv (Cornell University)|Jun 6, 2015

Gaussian Processes and Bayesian Inference参考文献 33被引用 54

一句话总结

本附录证明，在每个权重层之前应用dropout的深度神经网络，其数学上等价于深度高斯过程的变分贝叶斯近似，从而在深度学习中实现有原则的不确定性估计。关键贡献在于将dropout框架化为近似贝叶斯推断，使得无需修改网络结构即可通过蒙特卡洛dropout实现不确定性量化。

ABSTRACT

We show that a neural network with arbitrary depth and non-linearities, with dropout applied before every weight layer, is mathematically equivalent to an approximation to a well known Bayesian model. This interpretation might offer an explanation to some of dropout's key properties, such as its robustness to over-fitting. Our interpretation allows us to reason about uncertainty in deep learning, and allows the introduction of the Bayesian machinery into existing deep learning frameworks in a principled way. This document is an appendix for the main paper "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning" by Gal and Ghahramani, 2015.

研究动机与目标

• 为将dropout解释为深度神经网络中贝叶斯近似的理论基础提供支持。
• 通过其与近似贝叶斯推断的等价性，解释dropout在防止过拟合方面的鲁棒性。
• 通过蒙特卡洛dropout实现深度学习模型中的不确定性估计。
• 基于贝叶斯原理，推导出dropout的有原则扩展，以实现泛化。
• 以实用且可扩展的方式，支持将贝叶斯不确定性集成到现有深度学习框架中。

提出的方法

• 推导出在深度神经网络中应用dropout与深度高斯过程模型的变分近似之间的等价性。
• 使用变分推断证明，dropout通过最小化近似后验分布与深度高斯过程真实后验分布之间的Kullback–Leibler散度来实现。
• 通过在dropout掩码上应用蒙特卡洛采样来估计预测不确定性，将多次前向传播的集合视为一种贝叶斯近似。
• 表明在所有权重层之前应用dropout（而非仅在最后）可实现对所有参数的完整贝叶斯处理。
• 提出扩展方法，如非递减权重方差和高斯混合先验，以改进不确定性估计。
• 建立该方法适用于任意网络架构（包括卷积网络和循环网络）的理论基础，通过有原则的贝叶斯解释。

实验结果

研究问题

• RQ1 如何在形式上将深度神经网络中的dropout解释为贝叶斯近似？
• RQ2 为什么dropout能有效防止过拟合？这一现象能否通过贝叶斯原理加以解释？
• RQ3 蒙特卡洛dropout是否能够以既实用又理论坚实的方式估计模型不确定性？
• RQ4 在所有层之前应用dropout（而非仅在模型末端）会产生何种影响？
• RQ5 如何对dropout进行泛化，以在标准实现之外提升不确定性估计性能？

主要发现

• 在深度神经网络中，若在每个权重层之前应用dropout，则其数学上等价于贝叶斯神经网络中的变分推断，近似于深度高斯过程。
• 该方法通过蒙特卡洛dropout提供了一种有原则的预测不确定性估计方式，从而实现对预测结果的置信度估计。
• 在所有层之前应用dropout可避免参数过拟合，并支持对网络所有权重的完整贝叶斯处理。
• 实证结果表明，与标准dropout相比，采用所有层前dropout的蒙特卡洛dropout在复杂架构中表现更优。
• 该框架支持有原则的扩展，例如使用非递减方差或混合先验，以改进不确定性量化。
• 该解释通过集成模型参数（类似于贝叶斯边缘化）说明了dropout在减少过拟合方面的成功。