[论文解读] Known Unknowns: Uncertainty Quality in Bayesian Neural Networks

Ramón de Oliveira, Pedro Tabacof+1 more|arXiv (Cornell University)|Dec 5, 2016

Adversarial Robustness in Machine Learning参考文献 8被引用 4

一句话总结

本文提出了一种计算高效的不确定性估计方法——单样本贝叶斯近似（OSBA），用于贝叶斯神经网络。通过在每个小批量中仅采样一次权重矩阵而非每个样本都采样，OSBA 在保持与标准变分推断相当的不确定性质量的同时，实现了约10倍的加速，其在MNIST和CIFAR10上的异常检测AUC得分优于最大似然方法，并与贝叶斯Dropout相当。

ABSTRACT

We evaluate the uncertainty quality in neural networks using anomaly detection. We extract uncertainty measures (e.g. entropy) from the predictions of candidate models, use those measures as features for an anomaly detector, and gauge how well the detector differentiates known from unknown classes. We assign higher uncertainty quality to candidate models that lead to better detectors. We also propose a novel method for sampling a variational approximation of a Bayesian neural network, called One-Sample Bayesian Approximation (OSBA). We experiment on two datasets, MNIST and CIFAR10. We compare the following candidate neural network models: Maximum Likelihood, Bayesian Dropout, OSBA, and --- for MNIST --- the standard variational approximation. We show that Bayesian Dropout and OSBA provide better uncertainty information than Maximum Likelihood, and are essentially equivalent to the standard variational approximation, but much faster.

研究动机与目标

• 通过将异常检测作为代理指标，评估神经网络中不确定性估计的质量。
• 为贝叶斯神经网络中的标准变分推断开发一种计算效率更高的替代方法。
• 比较最大似然、贝叶斯Dropout、标准变分推断以及所提出的OSBA方法在不确定性质量上的表现。
• 评估不确定性质量是否依赖于类别可分性，特别是在存在语义重叠的CIFAR10等数据集上。
• 证明改进的不确定性质量并非源于预测准确性的提升，而是源于更优的概率校准。

提出的方法

• 提出单样本贝叶斯近似（OSBA），即每个小批量仅采样一次权重矩阵，并在该批量的所有样本中复用。
• 采用与Blundell等人（2015）相同的变分推断框架，但通过将权重采样与单个数据点解耦，降低了计算成本。
• 利用模型输出中的不确定性度量（如预测熵）作为线性异常检测器的特征。
• 训练异常检测器以区分已知（In）类和未知（Out）类，使用AUC作为不确定性质量的评估指标。
• 采用两种实验协议：盲模式（训练期间不包含未知类）和校准模式（训练期间使用均匀标签的未知类）。
• 在MNIST和CIFAR10上进行评估，共进行100次重复实验，采用随机划分已知、未知和（在校准模式下）未知类。

实验结果

研究问题

• RQ1 异常检测能否作为衡量神经网络中不确定性质量的可靠代理？
• RQ2 在异常检测性能方面，贝叶斯神经网络的不确定性质量与最大似然模型相比如何？
• RQ3 OSBA是否在显著更快的速度下实现了与标准变分推断相当的不确定性质量？
• RQ4 像CIFAR10这样的数据集中类别重叠如何影响不确定性质量的可检测性？
• RQ5 改进的不确定性质量是源于更高的预测准确性，还是源于更优的概率校准？

主要发现

• 在MNIST上，贝叶斯Dropout和OSBA的异常检测AUC显著高于最大似然方法，表明其不确定性质量更优。
• OSBA在保持与标准变分推断（SV）相当的不确定性质量的同时，实现了10倍加速，使其训练速度比SV快30倍，比贝叶斯Dropout快3倍。
• 在CIFAR10上，由于类别边界不清晰，各模型之间的性能差异无统计学显著性，表明不确定性质量度量对数据集语义敏感。
• 校准协议比模型选择本身更能提升异常检测AUC，但其现实性较低，因为它需要人工构造的未知类数据。
• 所有模型的测试准确率几乎相同（如MNIST上为99.1%），证实改进的不确定性质量源于概率校准，而非准确率提升。
• OSBA在降低计算成本的同时保持了高水平的不确定性质量，使其成为对实际应用中需要快速、可靠不确定性估计的有前景替代方案。