[论文解读] Efficient variational Bayesian neural network ensembles for outlier detection

Nick Pawlowski, Miguel Jaques+1 more|arXiv (Cornell University)|Mar 20, 2017

Anomaly Detection Techniques and Applications被引用 5

一句话总结

该论文提出了一种基于随机梯度朗之万动力学（SGLD）在训练过程中采样权重的高效变分贝叶斯神经网络集成方法，用于异常值检测。该方法通过在线估计变分后验分布，仅需极少内存开销。该方法在异常值检测性能上与Dropout-MC相当，且在标准分类任务中表现更优，但由于变分近似中权重方差较低，其性能不会随集成规模增大而提升。

ABSTRACT

In this work we perform outlier detection using ensembles of neural networks obtained by variational approximation of the posterior in a Bayesian neural network setting. The variational parameters are obtained by sampling from the true posterior by gradient descent. We show our outlier detection results are comparable to those obtained using other efficient ensembling methods.

研究动机与目标

• 开发一种适用于异常值检测的内存高效贝叶斯神经网络集成方法。
• 在训练过程中无需存储所有样本，实现实时后验分布估计。
• 仅通过一次网络训练即可实现具有竞争力的不确定性估计和异常值检测性能。
• 将该方法与已建立的集成技术（如Dropout-MC和标准集成）进行性能对比。
• 证明该方法在保持低计算和内存成本的同时，支持不确定性量化。

提出的方法

• 该方法使用随机梯度朗之万动力学（SGLD）沿训练轨迹生成权重样本，将其视为未归一化后验分布的抽样。
• 应用Welford的增量算法实时计算权重样本的均值和方差，从而实现实时变分后验参数估计。
• 变分近似为网络权重上的对角高斯分布，其参数通过无偏蒙特卡洛估计增量更新。
• 在测试阶段，从学习到的变分后验中抽样多个网络，形成集成用于预测和不确定性估计。
• 通过差异性（定义为每个集成成员预测与集成平均值之间KL散度之和）进行异常值检测，并利用训练集统计量进行阈值设定。
• 该方法可通过将噪声按自适应学习率比例缩放，兼容自适应优化器（如Adam），从而在标准优化器下实现实用训练。

实验结果

研究问题

• RQ1 我们能否通过在训练期间在线采样权重，构建一种具有低内存和计算开销的贝叶斯神经网络集成？
• RQ2 与Dropout-MC和标准集成相比，该方法在分类准确率和异常值检测方面的性能如何？
• RQ3 由SGLD样本导出的变分近似能否提供足够好的不确定性估计以实现有效的异常值检测？
• RQ4 尽管能够抽样更多网络，为何该方法的性能不会随集成规模增大而提升？
• RQ5 该方法能否与Adam等自适应优化器有效结合，同时保持采样有效性？

主要发现

• 在MNIST数据集上，该方法使用10个集成组件的分类准确率为76.1%，优于Dropout-MC（72.9%），但低于标准集成（87.0%）。
• 所有方法的异常值检测召回率均较高，但该方法和Dropout-MC的精确率均较低，表明存在较高的假阳性率。
• 该方法的差异性得分在10^-3至10^-2量级，显著低于Dropout-MC（10^-1至10^0），表明变分近似非常紧密，权重方差极低。
• 由于变分后验保持高度集中，该方法的性能不会随集成规模增大而提升，限制了预测的多样性。
• 在异常值检测精确率方面，该方法略逊于Dropout-MC，但在标准分类准确率方面更优，表明不确定性校准与预测性能之间存在权衡。
• 基于Adam的SGLD近似附加实验结果一致，验证了该方法对标准训练流程的适应性。