[论文解读] Uncertainty in the Variational Information Bottleneck

Alexander A. Alemi, Ian Fischer+1 more|arXiv (Cornell University)|Jul 2, 2018

Anomaly Detection Techniques and Applications参考文献 8被引用 65

一句话总结

论文表明变分信息瓶颈（VIB）在 FashionMNIST 上实现了校准预测和有效的分布外检测，而无需额外校准，通过对表示与速率的不确定性建模。

ABSTRACT

We present a simple case study, demonstrating that Variational Information Bottleneck (VIB) can improve a network's classification calibration as well as its ability to detect out-of-distribution data. Without explicitly being designed to do so, VIB gives two natural metrics for handling and quantifying uncertainty.

研究动机与目标

• 在本征不确定性、知识不确定性和分布外不确定性并存的情境下，推动对神经网络进行可靠的不确定性量化。
• 证明 VIB 能在不使用额外校准技术的情况下提供经过校准的预测。
• 展示 VIB 在标准数据集上对分布外检测的有效性及鲁棒性。

提出的方法

• 使用信息瓶颈的变分界来学习一个随机编码器 eθ(z|x) 和一个变分边缘分布 mφ(z)。
• 训练一个变分分类器 qψ(y|z)，从潜在编码 Z 预测标签。
• 优化一个界，最大化 E[log qψ(y|z)] − β E[log (eθ(z|x)/mφ(z))]，在准确性和速率之间取得平衡。
• 通过双随机性建模不确定性：Z 和 Y 的随机性，使预测具有均值和方差。
• 在训练和测试阶段使用蒙特卡洛采样来估计期望。

实验结果

研究问题

• RQ1 与确定性基线相比，VIB 是否能改善神经网络的校准？
• RQ2 在没有事后校准的情况下，VIB 是否能改进分布外数据的检测？
• RQ3 VIB 的不确定性度量（如 rate R 和 entropy H）如何与错误率和分布外检测性能相关？

主要发现

• VIB 的校准优于基线的确定性分类器，降低了测试数据的过度自信。
• 在 FashionMNIST 上，VIB 的准确率大约为 92.8–92.9%，与基线和温度缩放基线相比，错误检测指标具有竞争力。
• VIB 提供两种不确定性信号——rate (R) 和 entropy (H)——帮助分布外和错误检测，其中 R 在分布外检测中表现突出。
• 温度缩放仍然是一个强有力的事后方法，但 VIB 可以在不使用温度缩放的情况下改善校准和 OOD 检测，且在某些 OoD 信号下 R 可以优于 H。
• VIB 的不确定性信号能够检测到显著和微妙的分布变化，包括 FashionMNIST 数据的镜像或旋转版本。