[论文解读] A Review on Deep Learning Techniques Applied to Semantic Segmentation

Alberto García-García, Sergio Orts‐Escolano+3 more|arXiv (Cornell University)|Apr 22, 2017

Advanced Neural Network Applications参考文献 96被引用 1,035

一句话总结

本论文综述用于语义分割的深度学习方法，综述数据集和挑战，并讨论该领域的性能与未来方向。

ABSTRACT

Image semantic segmentation is more and more being of interest for computer vision and machine learning researchers. Many applications on the rise need accurate and efficient segmentation mechanisms: autonomous driving, indoor navigation, and even virtual or augmented reality systems to name a few. This demand coincides with the rise of deep learning approaches in almost every field or application target related to computer vision, including semantic segmentation or scene understanding. This paper provides a review on deep learning methods for semantic segmentation applied to various application areas. Firstly, we describe the terminology of this field as well as mandatory background concepts. Next, the main datasets and challenges are exposed to help researchers decide which are the ones that best suit their needs and their targets. Then, existing methods are reviewed, highlighting their contributions and their significance in the field. Finally, quantitative results are given for the described methods and the datasets in which they were evaluated, following up with a discussion of the results. At last, we point out a set of promising future works and draw our own conclusions about the state of the art of semantic segmentation using deep learning techniques.

研究动机与目标

• 提供对用于分割的、结合深度学习技术的数据集的广泛综述。
• 提供对语义分割的显著深度学习方法及其贡献的有序综述。
• 总结性能指标（准确度、速度、内存），并在不同数据集上比较方法。
• 讨论挑战并提出深度学习在语义分割领域未来研究的方向。
• 建立背景和先进水平，以引导进入或推进该领域的研究人员。

提出的方法

• 描述语义分割问题及逐像素标注的定义。
• 回顾作为构建模块使用的常见深度网络架构（如 AlexNet、VGG、GoogLeNet、ResNet、ReNet）。
• 讨论用于分割网络的迁移学习和微调策略。
• 解释数据预处理和增强技术，以提高泛化性和训练效率。
• 展示并分类主要的 2D、2.5D（RGB-D）和 3D 数据集及基准测试，包括它们的属性和划分。
• 在所引用数据集上提供方法的定性与定量性能评估。

实验结果

研究问题

• RQ1 哪些数据集和基准在评估基于深度学习的语义分割方法时最具代表性？
• RQ2 哪些架构和训练策略在分割任务中被证明最有效？
• RQ3 在准确性、速度和内存使用方面，深度学习方法在不同数据集中的表现如何与传统方法比较？
• RQ4 在深度学习语义分割领域，当前的挑战和未来方向是什么？

主要发现

• 本综述整合了广泛的数据集（2D、2.5D 和 3D），并阐明了它们的用途、类别、格式和划分。
• 基于深度学习的语义分割方法通常优于传统方法，且依赖迁移学习和预训练网络来处理标注数据有限的情况。
• 由于分割任务的逐像素标注数据量较分类任务更小，迁移学习和微调是常见策略。
• 数据增强和预处理被强调为提升泛化性、尤其是在较小数据集上至关重要。
• 本文提供面向性能的讨论，并指出未来在深度学习推动语义分割方面的研究方向。