[论文解读] Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation

Hong Joo Lee, Seong Tae Kim+3 more|arXiv (Cornell University)|May 21, 2020

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出了一种用于语义分割的高效集成模型生成方法，通过随机层选择从单一架构生成多样化的子模型，利用贝叶斯近似实现最小参数增长下的精确不确定性估计。该方法通过一种新颖的像素级不确定性损失提升预测性能，仅使用两个子模型即取得优异结果，同时在医学和自动驾驶等应用中实现不确定性感知的决策支持。

ABSTRACT

Recent studies have shown that ensemble approaches could not only improve accuracy and but also estimate model uncertainty in deep learning. However, it requires a large number of parameters according to the increase of ensemble models for better prediction and uncertainty estimation. To address this issue, a generic and efficient segmentation framework to construct ensemble segmentation models is devised in this paper. In the proposed method, ensemble models can be efficiently generated by using the stochastic layer selection method. The ensemble models are trained to estimate uncertainty through Bayesian approximation. Moreover, to overcome its limitation from uncertain instances, we devise a new pixel-wise uncertainty loss, which improves the predictive performance. To evaluate our method, comprehensive and comparative experiments have been conducted on two datasets. Experimental results show that the proposed method could provide useful uncertainty information by Bayesian approximation with the efficient ensemble model generation and improve the predictive performance.

研究动机与目标

• 解决传统集成模型在深度学习语义分割中参数成本过高的问题。
• 在不线性增加模型参数的前提下，实现有效的模型不确定性估计。
• 通过一种新颖的损失函数，在训练过程中利用不确定性以提升预测性能。
• 开发一种通用且可扩展的框架，适用于多种分割架构。
• 通过提供可靠的不确定性图，支持安全关键型应用中的决策制定。

提出的方法

• 定义一个包含 M 个子模型的模型集，每个子模型具有相同的编码器-解码器架构，但权重不同。
• 在推理过程中，通过在子模型间随机采样层，使用随机层选择生成集成模型。
• 通过蒙特卡洛 dropout 应用贝叶斯近似，利用集成样本间的预测方差估计不确定性。
• 引入一种像素级不确定性损失，以在训练期间重新加权不确定区域，促使模型在困难或模糊样本上表现更好。
• 采用两阶段训练策略：首先独立训练子模型；其次使用不确定性感知损失优化集成模型。
• 该框架具有通用性和可扩展性，仅需两个子模型即可理论上生成数千个集成模型（例如，DenseNet 可生成 2048 个，U-Net 可生成 262,144 个）。

实验结果

研究问题

• RQ1 是否可以在不牺牲不确定性估计质量的前提下，使集成模型生成更加高效？
• RQ2 如何有效利用不确定性以在训练过程中提升模型性能？
• RQ3 少量子模型（例如 M=2）是否能够生成大规模有效集成，同时保持高性能？
• RQ4 所提出的像素级不确定性损失是否能在模糊或不确定区域带来可测量的分割精度提升？
• RQ5 该方法是否能在不同架构和数据集上保持不确定性可靠性并实现良好泛化？

主要发现

• 所提方法仅使用两个子模型即实现了具有竞争力的 mIoU 和 Dice 分数，展现出高效率与可扩展性。
• 随着集成样本数量的增加，性能持续提升，即使在样本数量较少时（例如 50 个样本）也表现出显著增益。
• 不确定性图能有效突出误分类或模糊区域，如被遮挡的物体或未见类别，支持用户层面的决策判断。
• 像素级不确定性损失通过聚焦于难以分割的像素，提升了模型性能，表现为不确定区域错误率的降低。
• 该方法在多种架构和数据集（包括 CamVid 和 TVUS）上均表现出良好泛化能力，定量与定性结果均优异。
• 消融研究显示，该框架对对抗性攻击具有鲁棒性，表明其在安全关键型应用中的潜在价值。