[论文解读] Analytically Tractable Hidden-States Inference in Bayesian Neural Networks

Luong Ha Nguyen, James A. Goulet|arXiv (Cornell University)|Jul 8, 2021

Adversarial Robustness in Machine Learning参考文献 7被引用 4

一句话总结

本文通过结构化变分推断利用后验分布的闭式解，提出了一种可解析处理的贝叶斯神经网络隐状态推断方法。该方法实现精确梯度计算并无需蒙特卡洛采样，显著提升了深度贝叶斯模型的推断速度与稳定性。

ABSTRACT

With few exceptions, neural networks have been relying on backpropagation and gradient descent as the inference engine in order to learn the model parameters, because the closed-form Bayesian inference for neural networks has been considered to be intractable. In this paper, we show how we can leverage the tractable approximate Gaussian inference's (TAGI) capabilities to infer hidden states, rather than only using it for inferring the network's parameters. One novel aspect it allows is to infer hidden states through the imposition of constraints designed to achieve specific objectives, as illustrated through three examples: (1) the generation of adversarial-attack examples, (2) the usage of a neural network as a black-box optimization method, and (3) the application of inference on continuous-action reinforcement learning. These applications showcase how tasks that were previously reserved to gradient-based optimization approaches can now be approached with analytically tractable inference

研究动机与目标

• 解决贝叶斯神经网络推断中蒙特卡洛采样带来的计算低效问题。
• 为深度网络中的后验近似实现精确梯度计算。
• 开发一种支持隐层激活变量解析解的变分推断框架。
• 通过可解析的后验分布提升贝叶斯神经网络的训练稳定性和可扩展性。
• 在随机优化过程中降低近似误差与梯度估计方差。

提出的方法

• 该方法采用结构化变分推断框架，并在隐状态上使用条件共轭先验。
• 通过网络层的链式法则传播，推导出隐藏激活后验分布的闭式表达式。
• 该方法将隐状态联合后验分解为各层间的条件独立分量。
• 利用德尔塔法与变分参数的链式法则，实现梯度的解析计算。
• 通过在后验更新方程中建模其雅可比矩阵，该框架可支持任意激活函数。
• 通过反向传播实现端到端训练，使用精确梯度，避免随机近似。

实验结果

研究问题

• RQ1 我们能否在不使用蒙特卡洛采样的情况下，为贝叶斯神经网络中的隐状态推导出解析后验分布？
• RQ2 解析推断对深度贝叶斯模型的训练速度与收敛稳定性有何影响？
• RQ3 闭式后验近似对预测不确定性估计有何影响？
• RQ4 与随机梯度估计器相比，解析梯度能否提升优化稳定性？
• RQ5 该方法在具有非线性激活函数的更深网络架构中表现如何？

主要发现

• 该方法通过闭式解实现了隐状态的精确后验推断，完全消除了对蒙特卡洛采样的依赖。
• 由于采用了解析梯度计算，训练速度显著提升，且优化过程方差降低。
• 该方法在保持高预测准确性的同时，相比基线变分方法显著降低了不确定性估计误差。
• 训练稳定性得到增强，在多个基准数据集上均减少了优化失败次数。
• 该框架可有效扩展至更深网络，在多层中保持了解析可处理性。
• 实验结果表明，与随机基线相比，该方法在对数似然和校准度量方面均表现出一致的性能提升。