[论文解读] Bayesian Uncertainty Estimation for Batch Normalized Deep Networks

Mattias Teye, Hossein Azizpour+1 more|arXiv (Cornell University)|Feb 18, 2018

Gaussian Processes and Bayesian Inference参考文献 27被引用 105

一句话总结

本文表明，使用批量归一化进行训练对应近似贝叶斯推断，并提出蒙特卡洛批量归一化（MCBN）以在不改变架构的情况下估计预测不确定性。

ABSTRACT

We show that training a deep network using batch normalization is equivalent to approximate inference in Bayesian models. We further demonstrate that this finding allows us to make meaningful estimates of the model uncertainty using conventional architectures, without modifications to the network or the training procedure. Our approach is thoroughly validated by measuring the quality of uncertainty in a series of empirical experiments on different tasks. It outperforms baselines with strong statistical significance, and displays competitive performance with recent Bayesian approaches.

研究动机与目标

• 证明批量归一化训练会引发一个近似贝叶斯推断过程。
• 在不改变架构或训练流程的前提下，使标准 BN 网络能够产生有意义的不确定性估计。
• 在多个数据集上与基线及最近的贝叶斯方法进行定量对比，评估不确定性质量。
• 为在 BN 基础模型中测量和解释预测不确定性提供实际指南。

提出的方法

• 将 BN 模型视为带有对 BN 随机参数的先验的变分贝叶斯近似。
• 在某些条件下推导 VA 目标与 BN 训练之间的等价性，将正则化与 KL 散度联系起来。
• 通过在推理阶段对小批量统计量进行采样来定义蒙特卡洛批量归一化（MCBN），以获得预测分布。
• 通过蒙特卡洛前向传播，利用 BN 引入的随机性来估计预测均值和协方差。
• 在回归和图像任务上对比 MCBN 与 MCDO 及 MNF 的不确定性度量（PLL 与 CRPS）。
• 通过重用 BN 块并进行随机前向传播，将 MCBN 应用于分割网络。

实验结果

研究问题

• RQ1 批量归一化训练是否可以被解释为近似贝叶斯推断？
• RQ2 基于 BN 的网络是否能够在不改变架构或训练流程的情况下提供可靠的预测不确定性？
• RQ3 在多任务下，MCBN 与其他近似贝叶斯方法在不确定性质量方面的比较如何？
• RQ4 在 BN 网络中获得有意义的不确定性估计时，需要考虑的实际因素（如批量大小、样本数量等）有哪些？
• RQ5 不确定性估计与跨数据集的实际预测误差之间的相关性如何？

主要发现

• MCBN 能产生与预测误差相关的有意义的不确定性估计，适用于回归与分割任务。
• 相较于常数不确定性基线（CUBN），MCBN 在多个数据集上总体表现更优且具有统计显著的改进。
• MCBN 在不确定性量化方面与 MCDO 和 MNF 贝叶斯方法具备竞争力，且通常不分上下。
• 随着随机前向传播次数的增加，不确定性质量会提升到一定程度，且更大的小批量通常增强基于 BN 的不确定性。
• 将 MCBN 应用于现有的分割模型（如贝叶斯 SegNet）可产生合理的不确定性图，尤其在较大的小批量时效果更好。
• 与非随机 BN 或 DO 网络相比，MCBN 和 MCDO 在预测性能上可能有适度提升，主要目标是提高不确定性质量。