[论文解读] Bayesian Neural Networks: Essentials

Daniel T. Chang|arXiv (Cornell University)|Jun 22, 2021

Adversarial Robustness in Machine Learning参考文献 13被引用 5

一句话总结

本文提出贝叶斯神经网络（BNNs）作为不确定性感知深度学习的框架，通过集成概率层，利用贝叶斯推断对权重和激活值的不确定性进行建模。基于TensorFlow Probability，展示了BNNs如何通过近似推断扩展标准深度网络，混合架构在保持不确定性量化的同时降低了计算成本。

ABSTRACT

Bayesian neural networks utilize probabilistic layers that capture uncertainty over weights and activations, and are trained using Bayesian inference. Since these probabilistic layers are designed to be drop-in replacement of their deterministic counter parts, Bayesian neural networks provide a direct and natural way to extend conventional deep neural networks to support probabilistic deep learning. However, it is nontrivial to understand, design and train Bayesian neural networks due to their complexities. We discuss the essentials of Bayesian neural networks including duality (deep neural networks, probabilistic models), approximate Bayesian inference, Bayesian priors, Bayesian posteriors, and deep variational learning. We use TensorFlow Probability APIs and code examples for illustration. The main problem with Bayesian neural networks is that the architecture of deep neural networks makes it quite redundant, and costly, to account for uncertainty for a large number of successive layers. Hybrid Bayesian neural networks, which use few probabilistic layers judicially positioned in the networks, provide a practical solution.

研究动机与目标

• 解决在深度神经网络中整合不确定性量化以实现鲁棒机器学习的挑战。
• 提供一个实用框架，用于使用概率层作为确定性层的即插即用替代品，设计和训练贝叶斯神经网络。
• 克服在深层网络中对所有层应用完整贝叶斯推断所导致的计算效率低下问题。
• 展示选择性应用概率层的混合贝叶斯神经网络在降低计算成本的同时保持不确定性估计有效性的有效性。
• 通过清晰解释神经网络中的贝叶斯先验、后验分布和变分推断，弥合深度学习与概率建模之间的差距。

提出的方法

• 采用概率层表示权重和激活值的分布，而非点估计，从而实现不确定性建模。
• 通过变分推断进行近似贝叶斯推断，以优化网络权重上的后验分布。
• 利用TensorFlow Probability的API实现并训练具有可扩展推断能力的贝叶斯神经网络。
• 在神经网络权重上应用贝叶斯先验，以编码归纳偏置和先验知识。
• 实现深度变分学习，联合优化变分后验和模型似然。
• 设计仅在少数关键层中应用概率层的混合BNN，以减少计算开销，同时不牺牲不确定性质量。

实验结果

研究问题

• RQ1 如何有效设计和训练贝叶斯神经网络，以在深度学习模型中整合不确定性？
• RQ2 哪些关键组件——如先验、后验和推断方法——使得BNN中的不确定性估计更加可靠？
• RQ3 完整贝叶斯推断在深层网络架构中的计算成本如何扩展？有哪些可行的替代方案？
• RQ4 在稀疏概率层的混合贝叶斯神经网络中，能在多大程度上保持不确定性校准，同时减轻计算负担？
• RQ5 使用现代深度学习框架（如TensorFlow Probability）的哪些实用实现策略能够实现可访问且高效的BNN训练？

主要发现

• 贝叶斯神经网络可通过概率层作为即插即用的替代品，实现对权重和激活值不确定性的建模，从而替代确定性网络。
• 通过变分推断实现的近似贝叶斯推断，可在保持不确定性量化的同时实现BNN的可扩展训练。
• 使用贝叶斯先验可整合先验知识和正则化，提升泛化能力。
• 仅在部分层中应用概率层的混合贝叶斯神经网络，显著降低了计算成本，同时保持了有效的不确定性估计。
• TensorFlow Probability提供了实用且易用的API，用于实现和实验贝叶斯神经网络。
• 该框架可在对标准深度学习流水线进行最小架构修改的前提下，实现端到端的不确定性感知深度学习。