[论文解读] A Survey of Semantic Segmentation

Martin Thoma|arXiv (Cornell University)|Feb 21, 2016

Advanced Image and Video Retrieval Techniques参考文献 84被引用 66

一句话总结

本综述全面概述了语义分割技术，按类别类型、输入数据、操作模式和类别从属关系进行分类。综述了决策森林和SVM等传统方法，评估了基于卷积神经网络（CNNs）的现代深度学习方法，并识别出常见故障案例，如镜头眩光、暗角和遮挡，为计算机视觉与医学影像领域的研究人员提供了基础参考。

ABSTRACT

This survey gives an overview over different techniques used for pixel-level semantic segmentation. Metrics and datasets for the evaluation of segmentation algorithms and traditional approaches for segmentation such as unsupervised methods, Decision Forests and SVMs are described and pointers to the relevant papers are given. Recently published approaches with convolutional neural networks are mentioned and typical problematic situations for segmentation algorithms are examined. A taxonomy of segmentation algorithms is given.

研究动机与目标

• 基于分类、输入数据、操作状态和类别从属关系，提供语义分割算法的系统化分类体系。
• 回顾并对比传统语义分割技术，如无监督方法、决策森林和SVM。
• 总结基于卷积神经网络（CNNs）的深度学习语义分割的最新进展。
• 识别并分析常见故障案例，如镜头眩光、暗角、模糊和遮挡。
• 通过突出数据集偏差、模型鲁棒性以及集成方法等开放挑战，为未来研究提供指导。

提出的方法

• 从四个维度对分割算法进行分类：允许类别（固定 vs. 动态）、类别从属关系（单重 vs. 多重）、输入数据（灰度、彩色、深度、立体、2D/3D）以及操作状态（主动 vs. 被动）。
• 回顾评估指标，如准确率、交并比（IoU）以及像素级分类性能。
• 总结传统方法，包括无监督聚类、SVM和决策森林，强调其在早期语义分割中的作用。
• 分析基于现代CNN的方法，包括使用AlexNet作为特征提取器、全卷积网络（FCNs）以及[DH15]中提到的更深层架构。
• 研究CRF和集成方法在通过组合预测结果来提升分割精度方面的应用。
• 利用公开数据集（如KITTI、MSRCv2）中的真实图像示例，说明镜头眩光、暗角和透明性等导致问题的案例。

实验结果

研究问题

• RQ1 如何基于设计与操作特性，对语义分割算法进行系统化分类？
• RQ2 SVM和决策森林等传统机器学习方法在语义分割中的优势与局限性是什么？
• RQ3 与经典方法相比，基于现代深度学习的CNN如何提升语义分割性能？
• RQ4 哪些是最常见的现实图像伪影会挑战分割算法，它们如何影响性能？
• RQ5 部分遮挡、伪装和视角变化等故障案例在多大程度上影响训练模型的鲁棒性？

主要发现

• 语义分割已从固定类别、单重从属关系的模型，发展为包含多类别、多重从属关系以及开放词汇方法，并引入空类以表示未知物体。
• 传统方法如决策森林和SVM在特定应用场景中仍具相关性，特别是在对可解释性和有限标注有优先需求的场景中。
• 基于深度学习的CNN，尤其是全卷积网络和更深层架构，在标准基准测试中显著优于传统方法。
• 镜头眩光、暗角、模糊以及半透明物体等故障案例普遍存在，即使在标准数据集上表现良好的模型也常因此导致误分类。
• 视角变化和部分遮挡在训练数据缺乏视角或物体配置多样性时尤为棘手。
• 集成方法和CRF后处理可提升分割精度，尤其在处理局部不一致性和边缘伪影方面。