[论文解读] Blurs Behave Like Ensembles: Spatial Smoothings to Improve Accuracy, Uncertainty, and Robustness

Namuk Park, Songkuk Kim|arXiv (Cornell University)|May 26, 2021

Medical Imaging and Analysis被引用 4

一句话总结

本文提出空间平滑——一种对卷积神经网络特征图应用模糊层以模拟集成行为的技术。通过稳定特征图并平滑损失曲面，空间平滑显著提升了贝叶斯网络与确定性网络的准确率、不确定性估计和鲁棒性，仅需少量集成成员即可实现高性能。

ABSTRACT

Neural network ensembles, such as Bayesian neural networks (BNNs), have shown success in the areas of uncertainty estimation and robustness. However, a crucial challenge prohibits their use in practice. BNNs require a large number of predictions to produce reliable results, leading to a significant increase in computational cost. To alleviate this issue, we propose spatial smoothing, a method that spatially ensembles neighboring feature map points of convolutional neural networks. By simply adding a few blur layers to the models, we empirically show that spatial smoothing improves accuracy, uncertainty estimation, and robustness of BNNs across a whole range of ensemble sizes. In particular, BNNs incorporating spatial smoothing achieve high predictive performance merely with a handful of ensembles. Moreover, this method also can be applied to canonical deterministic neural networks to improve the performances. A number of evidences suggest that the improvements can be attributed to the stabilized feature maps and the smoothing of the loss landscape. In addition, we provide a fundamental explanation for prior works - namely, global average pooling, pre-activation, and ReLU6 - by addressing them as special cases of spatial smoothing. These not only enhance accuracy, but also improve uncertainty estimation and robustness by making the loss landscape smoother in the same manner as spatial smoothing. The code is available at https://github.com/xxxnell/spatial-smoothing.

研究动机与目标

• 解决贝叶斯神经网络（BNNs）的高计算成本问题，后者通常需要大量集成规模（例如50个）才能实现可靠性能。
• 在不增加推理成本的前提下，提升BNNs的预测性能、不确定性估计与鲁棒性。
• 通过减少所需集成成员数量，实现BNNs在实际应用中的高效部署。
• 通过空间平滑，将类似集成的行为优势扩展至确定性神经网络。
• 将现有网络结构组件（如全局平均池化、ReLU6、预激活）统一理解为空间平滑的特例。

提出的方法

• 提出空间平滑方法，通过在特征图上应用空间模糊，有效形成邻近特征点的局部集成。
• 将模糊层集成到网络架构中，以平滑特征表示并稳定预测结果。
• 结合空间平滑与概率推理（Prob），后者在不假设高斯分布的前提下对特征图激活值建模伯努利分布。
• 通过Prob与Blur的结合，无需显式采样即可近似实现集成平均，从而降低计算成本。
• 证明空间平滑可应用于贝叶斯与确定性网络，在多个基准测试中均显著提升性能。
• 重新诠释现有组件（如预激活、ReLU6、全局平均池化）为空间平滑的特例，揭示其内在的局部集成行为本质。

实验结果

研究问题

• RQ1 空间平滑能否减少贝叶斯神经网络实现高性能预测所需的集成成员数量？
• RQ2 空间平滑如何提升深度神经网络的不确定性估计与鲁棒性？
• RQ3 特征图稳定化与损失曲面平滑在空间平滑带来的性能提升中起到何种作用？
• RQ4 空间平滑能否应用于确定性神经网络，以实现类似准确率与不确定性的提升？
• RQ5 如预激活与全局平均池化等成熟架构组件是否本质上等价于空间平滑？

主要发现

• 空间平滑使贝叶斯神经网络仅需4–8个集成成员即可实现高性能，相比标准BNNs（需50个以上成员）显著降低计算成本。
• 该方法在损坏数据（如CIFAR-10-P）上提升了不确定性校准与鲁棒性，相对置信度指标显示对错误预测的过度自信现象减少。
• 空间平滑在语义分割任务（如CamVid数据集）中提升了确定性与贝叶斯U-Net模型的准确率、不确定性与一致性。
• 仅使用模糊会因信息损失而降低性能，但当与Prob（对激活值建模伯努利分布）结合时，性能显著提升。
• 预激活、ReLU6与全局平均池化被证明是空间平滑的特例，其成功可从局部集成行为的角度得到解释。
• 空间平滑与先前工作中的时间平滑相结合，可实现最优的预测与计算性能，尤其在数据流场景中表现突出。