[论文解读] Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations

Sebastian Farquhar, Lewis Smith+1 more|arXiv (Cornell University)|Feb 10, 2020

Gaussian Processes and Bayesian Inference被引用 7

一句话总结

本文挑战了均值场变分推断在贝叶斯神经网络中不足的假设，表明具有均值场权后验的深度网络可以实现与具有复杂后验的浅层网络相当的函数空间分布。通过哈密顿蒙特卡洛和大规模对比实验的实证验证表明，更深的均值场模型在实践中优于结构化后验，使其成为一种理论合理且计算高效的替代方案。

ABSTRACT

We challenge the longstanding assumption that the mean-field approximation for variational inference in Bayesian neural networks is severely restrictive, and show this is not the case in deep networks. We prove several results indicating that deep mean-field variational weight posteriors can induce similar distributions in function-space to those induced by shallower networks with complex weight posteriors. We validate our theoretical contributions empirically, both through examination of the weight posterior using Hamiltonian Monte Carlo in small models and by comparing diagonal- to structured-covariance in large settings. Since complex variational posteriors are often expensive and cumbersome to implement, our results suggest that using mean-field variational inference in a deeper model is both a practical and theoretically justified alternative to structured approximations.

研究动机与目标

• 挑战广泛持有的观点，即均值场变分推断对贝叶斯神经网络而言过于受限。
• 研究具有简单均值场权后验的深度架构是否能实现与具有复杂权后验的浅层网络相当的函数空间分布。
• 通过在小型模型上使用哈密顿蒙特卡洛和在大型模型中进行协方差结构比较，实证验证理论主张。
• 证明在深度网络中，均值场变分推断在效率和性能方面均优于复杂结构化后验，具有理论依据且实践表现更优。

提出的方法

• 理论分析证明，深度均值场变分后验可诱导出与浅层网络中复杂权后验相似的函数空间分布。
• 使用哈密顿蒙特卡洛分析小型模型中真实权后验，验证均值场推断的近似质量。
• 在大规模模型中比较对角和结构化协方差矩阵，评估后验复杂度的实际影响。
• 利用函数空间等价性作为代理指标，评估不同后验近似方法的表征能力。
• 基于均值场假设下深度网络函数空间分布的性质，推导出理论结果。

实验结果

研究问题

• RQ1 深度均值场变分后验能否产生与具有复杂权后验的浅层网络相当的函数空间分布？
• RQ2 如普遍假设的那样，深度网络中的均值场近似是否真的具有限制性？
• RQ3 在大型贝叶斯神经网络中，对角和结构化协方差矩阵在性能和表征能力方面如何比较？
• RQ4 网络深度是否能补偿权后验简单性，以捕捉复杂的函数分布？

主要发现

• 深度均值场变分推断产生的函数空间分布，在定性和定量上均与浅层网络中复杂权后验诱导的分布相似。
• 哈密顿蒙特卡洛分析证实，均值场近似在小型模型中捕捉到了真实后验的关键结构。
• 在大规模设置中，对角协方差变分后验在训练效率和测试性能方面均优于结构化协方差近似。
• 理论结果表明，仅靠深度本身即可补偿均值场近似简单性，从而诱导出丰富的函数空间分布。