[论文解读] DSNet: An Efficient CNN for Road Scene Segmentation

Ping-Rong Chen, Hsueh‐Ming Hang+2 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Neural Network Applications参考文献 36被引用 6

一句话总结

DSNet 提出了一种轻量级、高效的卷积神经网络架构，用于实时道路场景语义分割，结合了 DenseNet、ResNet 和 FCN 的优势组件，在计算成本较低的情况下实现了高精度。该模型在 GTX 1080Ti 上以 68 FPS（每张图像 0.0147 秒）的速度在 Cityscapes 数据集上实现了 69.1% 的 mIoU，展示了在保持竞争力精度的同时实现真正的实时推理能力。

ABSTRACT

Road scene understanding is a critical component in an autonomous driving system. Although the deep learning-based road scene segmentation can achieve very high accuracy, its complexity is also very high for developing real-time applications. It is challenging to design a neural net with high accuracy and low computational complexity. To address this issue, we investigate the advantages and disadvantages of several popular CNN architectures in terms of speed, storage and segmentation accuracy. We start from the Fully Convolutional Network (FCN) with VGG, and then we study ResNet and DenseNet. Through detailed experiments, we pick up the favorable components from the existing architectures and at the end, we construct a light-weight network architecture based on the DenseNet. Our proposed network, called DSNet, demonstrates a real-time testing (inferencing) ability (on the popular GPU platform) and it maintains an accuracy comparable with most previous systems. We test our system on several datasets including the challenging Cityscapes dataset (resolution of 1024x512) with an mIoU of about 69.1 % and runtime of 0.0147 second per image on a single GTX 1080Ti. We also design a more accurate model but at the price of a slower speed, which has an mIoU of about 72.6 % on the CamVid dataset.

研究动机与目标

• 设计一种卷积神经网络，实现实时自动驾驶应用中高语义分割精度与低计算复杂度的平衡。
• 分析并比较 FCN、ResNet 和 DenseNet 等主流卷积神经网络架构在速度、内存使用和精度之间的权衡关系。
• 识别并整合现有架构中最有效的组件，构建一种新颖且高效的网络架构。
• 开发一种模型，实现在标准 GPU 硬件上无需牺牲分割性能的实时推理能力。

提出的方法

• 作者以 VGG 为骨干网络的全卷积网络（FCN）作为基线，系统评估 ResNet 和 DenseNet 在道路场景分割任务中的表现。
• 从 DenseNet 中提取有利的架构组件，特别是密集连接和特征复用机制，以减少参数量和计算负载。
• 通过将这些高效组件整合到优化后的编码器-解码器结构中，构建最终的 DSNet 架构。
• 网络采用密集跳跃连接以增强特征传播和梯度流动，提升学习效率与精度。
• 通过架构剪枝和针对消费级 GPU 的推理优化，进一步提升模型效率。
• 该方法包含两个变体：一个用于实时性能的快速推理模型，以及一个精度更高但速度较慢的版本，以实现更高的 mIoU。

实验结果

研究问题

• RQ1 轻量级卷积神经网络架构是否能在保持道路场景数据集高分割精度的同时实现实时推理速度？
• RQ2 ResNet、DenseNet 和 FCN 中哪些架构组件在道路场景分割任务中对精度与效率的提升最为有效？
• RQ3 密集连接与特征复用的集成对模型性能和计算成本有何影响？
• RQ4 在标准 GPU 硬件上为实时部署进行优化时，推理速度与 mIoU 之间的权衡关系如何？

主要发现

• DSNet 在 GTX 1080Ti 上以每张图像 0.0147 秒的推理时间，在 Cityscapes 数据集上实现了 69.1% 的平均交并比（mIoU），支持约 68 FPS 的实时推理。
• 与之前最先进的模型相比，该模型在显著降低计算复杂度的同时，仍保持了具有竞争力的精度。
• DSNet 的一个更精确的变体在 CamVid 数据集上实现了 72.6% 的 mIoU，表明该模型在高精度应用中具备良好的可扩展性。
• 消融实验验证了来自 DenseNet 的密集连接与特征复用机制是提升性能、同时降低参数量和 FLOPs 的关键因素。
• 该架构在不同分辨率和复杂度的多样化道路场景数据集（包括 Cityscapes 和 CamVid）上均表现出优异的泛化能力。