[论文解读] Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding

Alex Kendall, Vijay Badrinarayanan+1 more|arXiv (Cornell University)|Nov 9, 2015

Advanced Neural Network Applications被引用 302

一句话总结

Bayesian SegNet 提出了一种基于蒙特卡洛丢弃的贝叶斯深度学习框架，用于语义分割，能够在推理阶段估计模型不确定性，从而为像素级预测提供可靠的置信度估计。该方法在 SegNet、FCN 和空洞卷积网络等架构上将分割准确率提升了 2–3%，尤其在小样本数据集上增益更显著，同时在 GPU 上保持了实时推理性能。

ABSTRACT

We present a deep learning framework for probabilistic pixel-wise semantic segmentation, which we term Bayesian SegNet. Semantic segmentation is an important tool for visual scene understanding and a meaningful measure of uncertainty is essential for decision making. Our contribution is a practical system which is able to predict pixel-wise class labels with a measure of model uncertainty. We achieve this by Monte Carlo sampling with dropout at test time to generate a posterior distribution of pixel class labels. In addition, we show that modelling uncertainty improves segmentation performance by 2-3% across a number of state of the art architectures such as SegNet, FCN and Dilation Network, with no additional parametrisation. We also observe a significant improvement in performance for smaller datasets where modelling uncertainty is more effective. We benchmark Bayesian SegNet on the indoor SUN Scene Understanding and outdoor CamVid driving scenes datasets.

研究动机与目标

• 开发一种深度学习框架，不仅能进行语义分割，还能为每个像素预测提供模型不确定性的度量。
• 解决当前最先进的卷积编码器-解码器架构（如 SegNet 和 FCN）缺乏不确定性量化的问题。
• 通过在推理过程中利用模型不确定性，提升分割性能，尤其是在小样本或具有挑战性的数据集上。
• 证明模型不确定性与预测置信度相关，并可用于安全关键应用中的主动学习或决策制定。
• 在仅进行最小架构修改的前提下，实现带有不确定性估计的实时推理。

提出的方法

• 通过在推理阶段应用丢弃，将深度编码器-解码器架构（如 SegNet、FCN、空洞卷积网络）转化为贝叶斯神经网络，以近似网络权重的后验分布。
• 使用带有丢弃的蒙特卡洛采样进行多次前向传播，生成分割输出的分布，从而实现每个像素的不确定性估计。
• 在无需不确定性估计时，采用权重平均作为快速推理变体，保持高速性能。
• 将不确定性建模为蒙特卡洛样本间的方差，方差越大表示预测置信度越低。
• 无需额外参数化，保持原始模型的架构和推理效率。
• 通过类准确率与数据集中类别频率的相关性分析，验证不确定性估计的可靠性。

实验结果

研究问题

• RQ1 推理阶段的蒙特卡洛丢弃能否有效估计语义分割网络中的模型不确定性？
• RQ2 在不同架构和数据集上，引入模型不确定性是否能提升分割准确率？
• RQ3 由于过拟合减少，模型不确定性是否在小样本数据集上更显著地提升性能？
• RQ4 估计的不确定性与实际预测置信度及类别难度的相关性如何？
• RQ5 该不确定性度量能否用于识别模糊或难以分割的区域，如物体边界或罕见类别？

主要发现

• Bayesian SegNet 在包括 SegNet、FCN 和空洞卷积网络在内的多个最先进架构上，无需额外参数即可将分割准确率提升 2–3%。
• 在小样本数据集（如 CamVid）上，性能增益更为显著，因为不确定性建模可缓解过拟合并提升泛化能力。
• 模型不确定性与类别准确率和类别频率呈强负相关：模型对常见且易分割的类别（如天空、道路）更自信，而对罕见或模糊的类别（如标志符号、骑自行车者）则更不自信。
• 模型在物体边界和视觉模糊物体上表现出更高的不确定性，表明其能可靠检测不确定预测。
• 对于不确定性超过第 90 百分位数的预测，分割准确率仍保持极高水平，证实不确定性是可靠的置信度度量。
• Bayesian SegNet 实现了实时推理，在 Titan X GPU 上标准 SegNet 推理速率为每帧 35ms，使用 10 次蒙特卡洛采样时为每帧 90ms。