[论文解读] MSCFNet: A Lightweight Network With Multi-Scale Context Fusion for Real-Time Semantic Segmentation

Guangwei Gao, Guoan Xu+4 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Neural Network Applications参考文献 50被引用 9

一句话总结

MSCFNet 提出了一种轻量级、实时语义分割网络，采用多尺度上下文融合（MSCF）方案，并结合非对称编码器-解码器架构。该网络使用高效的非对称残差（EAR）模块，结合分解深度可分离卷积与空洞卷积，并引入空间与通道注意力机制，仅用 1.15M 参数即实现高精度，Cityscapes 数据集上达到 71.9% 的 mIoU，推理速度超过 50 FPS。

ABSTRACT

In recent years, how to strike a good trade-off between accuracy and inference speed has become the core issue for real-time semantic segmentation applications, which plays a vital role in real-world scenarios such as autonomous driving systems and drones. In this study, we devise a novel lightweight network using a multi-scale context fusion (MSCFNet) scheme, which explores an asymmetric encoder-decoder architecture to dispose this problem. More specifically, the encoder adopts some developed efficient asymmetric residual (EAR) modules, which are composed of factorization depth-wise convolution and dilation convolution. Meanwhile, instead of complicated computation, simple deconvolution is applied in the decoder to further reduce the amount of parameters while still maintaining high segmentation accuracy. Also, MSCFNet has branches with efficient attention modules from different stages of the network to well capture multi-scale contextual information. Then we combine them before the final classification to enhance the expression of the features and improve the segmentation efficiency. Comprehensive experiments on challenging datasets have demonstrated that the proposed MSCFNet, which contains only 1.15M parameters, achieves 71.9\% Mean IoU on the Cityscapes testing dataset and can run at over 50 FPS on a single Titan XP GPU configuration.

研究动机与目标

• 解决在资源受限应用场景中实时语义分割任务中精度、推理速度与模型大小之间的关键权衡问题。
• 设计一种轻量级网络，在显著降低计算与内存开销的同时保持高分割精度。
• 通过高效注意力机制融合不同网络阶段的多尺度上下文信息，提升特征表示能力。
• 通过最小化模型大小与推理延迟，实现在无人机、自动驾驶车辆及移动系统等边缘设备上的实时部署。

提出的方法

• 提出一种高效的非对称残差（EAR）模块，结合分解深度可分离卷积与空洞卷积，以低参数量扩展感受野。
• 采用非对称编码器-解码器架构，其中编码器使用 EAR 模块，解码器采用简单的转置卷积实现高效上采样。
• 从不同编码器阶段引入多尺度注意力分支，自适应地捕捉空间与通道级上下文特征。
• 通过逐元素相加（而非拼接）的方式融合多分支特征，以最小计算开销增强特征表示。
• 引入 ECA（eXtreme Channel Attention）与空间注意力模块，以极低的参数增加提升通道与空间特征的交互能力。
• 在 EAR 模块中使用 2 的幂次空洞率的空洞卷积，以不增加参数量的方式有效聚合多尺度上下文信息。

实验结果

研究问题

• RQ1 轻量级网络是否能在标准基准上实现高分割精度的同时保持实时推理速度？
• RQ2 与单尺度特征提取相比，从不同编码器阶段融合多尺度上下文信息对分割性能有何影响？
• RQ3 在实时语义分割中，模型大小、推理速度与精度之间的最优平衡点是什么？
• RQ4 注意力机制（空间与通道）在不显著增加模型复杂度的前提下，如何带来性能增益？
• RQ5 在轻量级分割网络中，通过加法进行特征融合是否在精度与效率方面优于拼接？

主要发现

• MSCFNet 在 Cityscapes 验证集上达到 71.9% 的平均交并比（mIoU），在测试集上同样为 71.9%，模型参数量仅 1.15 百万。
• 该网络在单张 Titan XP GPU 上推理速度超过 50 FPS，展现出强大的实时推理能力。
• 与 ICNet 相比，MSCFNet 参数量仅为后者的 15%，但精度更高且推理速度更快。
• 尽管 DABNet 稍小（少 0.4M 参数），但 mIoU 仍低 1.8%，证实 MSCFNet 在精度-效率权衡上的优越性。
• 在 CamVid 数据集上，MSCFNet 实现 69.3% 的类别 mIoU，尽管模型极小，仍优于大多数当前最先进的轻量级模型。
• 消融实验表明，多尺度上下文融合使性能提升超过 1%，且特征加法融合优于拼接方式。