[论文解读] Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes

Genshun Dong, Yan Yan+2 more|arXiv (Cornell University)|Mar 11, 2020

Advanced Neural Network Applications参考文献 66被引用 12

一句话总结

本文提出了一种基于轻量化网络与空洞卷积及注意力机制（LBN-AA）、差异化空洞空间金字塔池化（DASPP）、空间细节保留网络（SPN）和特征融合网络（FFN）的实时高性能语义分割方法，用于城市街景。该方法在单张NVIDIA TITAN X上实现了Cityscapes数据集上73.6%的mIoU和51.0 fps的推理速度，以及CamVid数据集上68.0%的mIoU和39.3 fps的推理速度，展现出优异的精度-速度权衡性能。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) have recently shown outstanding performance in semantic image segmentation. However, state-of-the-art DCNN-based semantic segmentation methods usually suffer from high computational complexity due to the use of complex network architectures. This greatly limits their applications in the real-world scenarios that require real-time processing. In this paper, we propose a real-time high-performance DCNN-based method for robust semantic segmentation of urban street scenes, which achieves a good trade-off between accuracy and speed. Specifically, a Lightweight Baseline Network with Atrous convolution and Attention (LBN-AA) is firstly used as our baseline network to efficiently obtain dense feature maps. Then, the Distinctive Atrous Spatial Pyramid Pooling (DASPP), which exploits the different sizes of pooling operations to encode the rich and distinctive semantic information, is developed to detect objects at multiple scales. Meanwhile, a Spatial detail-Preserving Network (SPN) with shallow convolutional layers is designed to generate high-resolution feature maps preserving the detailed spatial information. Finally, a simple but practical Feature Fusion Network (FFN) is used to effectively combine both shallow and deep features from the semantic branch (DASPP) and the spatial branch (SPN), respectively. Extensive experimental results show that the proposed method respectively achieves the accuracy of 73.6% and 68.0% mean Intersection over Union (mIoU) with the inference speed of 51.0 fps and 39.3 fps on the challenging Cityscapes and CamVid test datasets (by only using a single NVIDIA TITAN X card). This demonstrates that the proposed method offers excellent performance at the real-time speed for semantic segmentation of urban street scenes.

研究动机与目标

• 为解决在城市街景中实现高语义分割精度的同时保持实时推理速度的挑战。
• 通过设计轻量化高效的网络架构，在不牺牲分割性能的前提下降低计算复杂度。
• 在复杂城市环境中有效处理多尺度目标检测并保留细粒度的空间细节。
• 开发一种鲁棒的端到端框架，平衡高层语义理解与低层空间精度。

提出的方法

• LBN-AA网络采用轻量化主干网络结合空洞卷积与卷积注意力模块，高效提取密集特征图。
• DASPP模块通过应用多种空洞池化率，编码跨尺度的多样化上下文与语义信息。
• SPN通过浅层卷积层保留深层网络中丢失的高分辨率空间细节。
• FFN通过拼接与优化，融合来自DASPP的高层语义特征与来自SPN的高分辨率空间特征。
• 整个模型通过端到端联合优化，确保特征兼容性与分割精度。
• 全网络使用空洞卷积，以在扩展感受野的同时保持空间分辨率。

实验结果

研究问题

• RQ1 轻量化实时语义分割模型是否能在复杂城市街景中实现高精度？
• RQ2 如何在不增加计算成本的前提下有效捕捉多尺度上下文信息？
• RQ3 在深度语义分割网络中，空间细节保留能力可提升至何种程度？
• RQ4 在实时分割中，结合高层语义特征与低层空间特征的最优融合策略是什么？

主要发现

• 所提方法在单张NVIDIA TITAN X上实现了Cityscapes测试集上73.6%的mIoU与51.0 fps的推理速度，证明了其实时性能。
• 在CamVid数据集上，该方法实现了68.0%的mIoU与39.3 fps的推理速度，其精度优于多个最先进的快速分割模型。
• 该方法在分割小物体（如标志牌和灯柱）方面表现优异，CamVid数据集中“标志”类别的mIoU达到51.6%。
• 尽管速度较慢，该模型在CamVid上的精度仍优于BiSeNet2（68.7% mIoU），表明其具备出色的性能权衡能力。
• 由于外观变化大且与背景相似，该方法在树木分割方面表现较弱，CamVid中“树木”类别的mIoU仅为70.5%。
• 定性结果表明，该方法能有效处理遮挡与光照变化，但偶尔会出现对象内部过分割或欠分割的现象。