[论文解读] Robust Semantic Segmentation with Superpixel-Mix

Gianni Franchi, Nacim Belkhir+5 more|arXiv (Cornell University)|Aug 2, 2021

Advanced Neural Network Applications参考文献 90被引用 6

一句话总结

该论文提出了一种名为 Superpixel-mix 的新型数据增强技术，用于语义分割，通过在图像间混合超像素来保留物体边界，同时提升模型的鲁棒性。通过结合基于超像素的混合与教师-学生一致性训练，该方法在 Cityscapes 数据集上实现了半监督语义分割的最先进性能，显著提升了准确率、不确定性校准能力，以及在分布偏移和噪声干扰下的鲁棒性。

ABSTRACT

Along with predictive performance and runtime speed, reliability is a key requirement for real-world semantic segmentation. Reliability encompasses robustness, predictive uncertainty and reduced bias. To improve reliability, we introduce Superpixel-mix, a new superpixel-based data augmentation method with teacher-student consistency training. Unlike other mixing-based augmentation techniques, mixing superpixels between images is aware of object boundaries, while yielding consistent gains in segmentation accuracy. Our proposed technique achieves state-of-the-art results in semi-supervised semantic segmentation on the Cityscapes dataset. Moreover, Superpixel-mix improves the reliability of semantic segmentation by reducing network uncertainty and bias, as confirmed by competitive results under strong distributions shift (adverse weather, image corruptions) and when facing out-of-distribution data.

研究动机与目标

• 解决深度卷积神经网络（DCNNs）在分布偏移、数据损坏和分布外输入下进行语义分割时的鲁棒性不足问题。
• 通过改进不确定性估计与校准，减少模型过自信与偏差，且无需使用集成方法或多次前向传播。
• 在标注数据有限的少样本和半监督学习场景中，提升泛化能力与鲁棒性。
• 开发一种尊重物体结构、在训练过程中保持语义完整性的数据增强策略。
• 在各种扰动与分布偏移下，实现准确率与鲁棒性指标的最先进性能。

提出的方法

• 提出 Superpixel-mix，一种基于物体级分割在两幅图像之间混合超像素（相似像素区域）的数据增强方法，以保留物体边界。
• 利用分水岭（Watershed）、SLIC 或 Felzenszwalb 算法进行超像素分割，生成尊重语义结构的混合掩码。
• 采用教师-学生一致性训练框架，使学生模型在混合图像上的预测与教师模型保持一致。
• 通过调节每张图像的超像素数量（100–200）和混合的超像素比例（最优为 0.6）来优化混合过程。
• 通过训练混合图像以模拟分布偏移与噪声，提升泛化能力，增强鲁棒性。
• 推理阶段仅需一次前向传播，相比需要集成的不确定性估计方法，计算效率更高。

实验结果

研究问题

• RQ1 基于超像素的数据增强是否能提升语义分割在分布偏移与数据损坏下的鲁棒性？
• RQ2 与现有基于混合的增强技术相比，Superpixel-mix 是否能更有效地降低认知不确定性与随机不确定性？
• RQ3 不同超像素算法（分水岭、SLIC、Felzenszwalb）的选择如何影响模型性能与鲁棒性？
• RQ4 Superpixel-mix 是否能在标注数据极少的半监督语义分割中实现最先进性能？
• RQ5 该方法是否能在不依赖多次前向传播或集成推理的情况下改善模型校准？

主要发现

• 在仅使用 100 张标注图像（1/30）时，Superpixel-mix 在 Cityscapes 上达到 54.11% ± 2.88 mIoU，较基线模型提升 7.27%。
• 在 372 张标注图像（1/8）时，方法达到 63.44% ± 0.88 mIoU，较基线提升 8.60%。
• 在 744 张标注图像（1/4）时，Superpixel-mix 达到 65.82% ± 1.78 mIoU，较基线提升 5.74%。
• 该方法在 Foggy Cityscapes 与 Rainy Cityscapes 上也实现了最先进性能，展现出对恶劣天气与图像损坏的优越鲁棒性。
• Superpixel-mix 有效降低了预测不确定性与模型偏差，在所有测试数据划分与扰动类型下均表现出一致的性能提升。
• 分水岭超像素算法在所有测试方法中取得最高的 mIoU（78.99%），表明其对物体边界的敏感性最强。