[论文解读] Feed-forward Uncertainty Propagation in Belief and Neural Networks

Alexander Shekhovtsov, Boris Flach+1 more|arXiv (Cornell University)|Mar 28, 2018

Adversarial Robustness in Machine Learning参考文献 2被引用 3

一句话总结

本文提出一种前向传播不确定性传播方法，将神经网络扩展以在各层中追踪均值和方差，从而在无需迭代计算的情况下实现近似贝叶斯推理。该方法支持端到端训练，在输入噪声和丢弃正则化下提升鲁棒性，并增强深度网络的稳定性和校准性，同时保持计算效率。

ABSTRACT

We propose a feed-forward inference method applicable to belief and neural networks. In a belief network, the method estimates an approximate factorized posterior of all hidden units given the input. In neural networks the method propagates uncertainty of the input through all the layers. In neural networks with injected noise, the method analytically takes into account uncertainties resulting from this noise. Such feed-forward analytic propagation is differentiable in parameters and can be trained end-to-end. Compared to standard NN, which can be viewed as propagating only the means, we propagate the mean and variance. The method can be useful in all scenarios that require knowledge of the neuron statistics, e.g. when dealing with uncertain inputs, considering sigmoid activations as probabilities of Bernoulli units, training the models regularized by injected noise (dropout) or estimating activation statistics over the dataset (as needed for normalization methods). In the experiments we show the possible utility of the method in all these tasks as well as its current limitations.

研究动机与目标

• 通过在各层中传播均值和方差，实现在深度神经网络中的不确定性感知推理。
• 提供一种可微分、端到端可训练的方法，以近似信念网络和神经网络中的贝叶斯后验分布。
• 通过解析建模方差传播，提升在输入不确定性、对抗性噪声和丢弃正则化下的模型鲁棒性。
• 支持实际应用，如丢弃正则化、归一化技术以及S型激活函数的概率解释。
• 通过在标准神经网络架构中实现不确定性感知训练与推理，弥合概率图模型与深度学习之间的差距。

提出的方法

• 引入方差传播层，将标准神经网络层扩展为可追踪激活值均值和方差的结构。
• 采用一阶近似方法传播非线性函数中的不确定性，假设输入之间相互独立，并应用delta方法进行方差估计。
• 将该方法应用于S型信念网络，将隐层单元视为伯努利变量，并通过均值与方差传播近似后验期望。
• 通过建模乘性伯努利噪声下的期望输出，实现解析丢弃，避免推理阶段的蒙特卡洛采样。
• 通过确保不确定性传播对网络权重可微分，支持端到端训练。
• 采用因子化后验近似方法估计信念网络中的不确定性，避免昂贵的迭代推理。

实验结果

研究问题

• RQ1 前向传播不确定性传播能否为深度网络中的迭代贝叶斯推理提供可扩展的替代方案？
• RQ2 传播均值与方差在输入噪声或对抗性扰动下如何提升模型鲁棒性？
• RQ3 解析不确定性传播是否能改善丢弃训练中的泛化能力与性能，相比标准丢弃方法？
• RQ4 不确定性传播在多大程度上提升了S型激活函数作为概率输出的可靠性？
• RQ5 不确定性传播如何影响深度网络中的归一化与权重初始化？

主要发现

• 所提出的AP2方法在输入噪声下，对蒙特卡洛输出分布的近似效果优于仅传播均值的标准方法。
• 在CIFAR-10实验中，采用AP2传播的解析丢弃在较高丢弃率（0.3）下，验证准确率优于标准丢弃和基线训练方法。
• 该方法在输入高斯噪声和对抗性攻击下显著提升了稳定性，降低了对错误预测的过度自信。
• 在噪声条件下，使用AP2传播训练的模型表现出更低的置信度奇偶比（预测类与真实类概率之比），表明其校准性更优。
• 批量归一化虽降低了训练损失，但反而削弱了噪声下的稳定性，凸显了优化与鲁棒性之间的权衡。
• 该方法的近似质量随网络深度增加而下降，表明在深层架构中需结合校准技术以克服其局限性。