[论文解读] A Survey on Deep Learning Methods for Semantic Image Segmentation in Real-Time

Georgios Takos|arXiv (Cornell University)|Sep 27, 2020

Advanced Neural Network Applications被引用 13

一句话总结

本综述全面分析了用于实时语义图像分割的深度学习方法，重点探讨了提升推理速度和计算效率的技术，同时保持高精度。该综述评估了最先进架构，识别了关键的效率-精度权衡，并在Cityscapes等标准数据集上对表现最佳的模型进行了基准测试，突出展示了FastSCNN和FasterSeg等模型在mIoU超过60%的同时实现超过100 FPS的性能。

ABSTRACT

Semantic image segmentation is one of fastest growing areas in computer vision with a variety of applications. In many areas, such as robotics and autonomous vehicles, semantic image segmentation is crucial, since it provides the necessary context for actions to be taken based on a scene understanding at the pixel level. Moreover, the success of medical diagnosis and treatment relies on the extremely accurate understanding of the data under consideration and semantic image segmentation is one of the important tools in many cases. Recent developments in deep learning have provided a host of tools to tackle this problem efficiently and with increased accuracy. This work provides a comprehensive analysis of state-of-the-art deep learning architectures in image segmentation and, more importantly, an extensive list of techniques to achieve fast inference and computational efficiency. The origins of these techniques as well as their strengths and trade-offs are discussed with an in-depth analysis of their impact in the area. The best-performing architectures are summarized with a list of methods used to achieve these state-of-the-art results.

研究动机与目标

• 提供对语义图像分割中深度学习架构的全面概述，重点关注实时推理。
• 识别并分析可提升语义分割模型计算效率并减少内存占用的技术。
• 评估最先进模型在基准数据集上的性能，强调精度（mIoU）与推理速度（FPS）之间的平衡。
• 总结2020年前后实时语义分割的最新进展，包括神经架构搜索、剪枝以及高效卷积操作。
• 为研究人员和从业者提供参考，以寻找适用于自动驾驶和机器人等时间敏感应用的高效高性能模型。

提出的方法

• 系统性回顾并分类过去十年间开发的基于深度学习的语义分割架构。
• 分析效率优化技术，包括逐通道可分离卷积、空洞卷积和非对称卷积，以减少浮点运算次数（FLOPs）和参数量。
• 评估架构创新，如双分支网络、层次注意力机制以及全局聚合与局部分布结合的方法，以提升特征表示能力。
• 应用神经架构搜索（NAS）和剪枝技术，自动设计轻量化模型以实现高推理速度。
• 使用mIoU和FPS等指标，在Cityscapes等标准数据集上对模型进行基准测试。
• 引入伪标签、数据增强和深度感知损失函数等技术，在不增加推理成本的前提下提升性能。

实验结果

研究问题

• RQ1 在基于深度学习的语义分割模型中，哪些技术最有效降低计算成本和内存使用？
• RQ2 架构选择如逐通道可分离卷积和注意力机制如何影响精度与推理速度之间的权衡？
• RQ3 哪些深度学习架构在Cityscapes等标准基准上实现了实时性能（≥30 FPS）且保持高mIoU？
• RQ4 近期方法如神经架构搜索和剪枝如何促进高效语义分割模型的发展？
• RQ5 截至2020年，最先进实时语义分割模型的关键设计模式和性能趋势是什么？

主要发现

• FastSCNN在Cityscapes上实现485 FPS与51.9 mIoU，证明了双分支网络与逐通道可分离卷积的有效性。
• FasterSeg与部分顺序剪枝（Partial Order Pruning）实现超过140 FPS且mIoU高于71，表明神经架构搜索与剪枝可生成高度高效的模型。
• 如Naive-Student与Object-Contextual Representations等模型在Cityscapes上mIoU超过85，表明半监督学习与注意力机制可显著提升精度。
• 使用深度信息与深度感知损失函数可提升深度有利设置下的性能，其中Hard Pixel Mining实现83.4 mIoU。
• ESPNet与LiteSeg等高效架构实现超过100 FPS且mIoU高于60，证明在不显著牺牲精度的前提下实现实时性能是可行的。
• 表现最佳的实时模型（如FastSCNN、FasterSeg）始终使用轻量化组件如逐通道可分离卷积和早期下采样，证实了其在效率方面的重要作用。