[论文解读] CFPNet: Channel-wise Feature Pyramid for Real-Time Semantic Segmentation

Ange Lou, Murray H. Loew|arXiv (Cornell University)|Mar 22, 2021

Advanced Neural Network Applications参考文献 33被引用 5

一句话总结

CFPNet 提出了一种通道级特征金字塔（CFP）模块，通过在独立通道上使用空洞卷积，高效捕获多尺度上下文信息，从而提升实时语义分割性能。在 Cityscapes 数据集上，其参数量仅为 0.55M，显存占用 2.5MB，可在单张 RTX 2080Ti GPU 上以 30 FPS 的速度处理 1024×2048 分辨率的图像，实现 70.1% 的类别平均 mIoU。

ABSTRACT

Real-time semantic segmentation is playing a more important role in computer vision, due to the growing demand for mobile devices and autonomous driving. Therefore, it is very important to achieve a good trade-off among performance, model size and inference speed. In this paper, we propose a Channel-wise Feature Pyramid (CFP) module to balance those factors. Based on the CFP module, we built CFPNet for real-time semantic segmentation which applied a series of dilated convolution channels to extract effective features. Experiments on Cityscapes and CamVid datasets show that the proposed CFPNet achieves an effective combination of those factors. For the Cityscapes test dataset, CFPNet achieves 70.1% class-wise mIoU with only 0.55 million parameters and 2.5 MB memory. The inference speed can reach 30 FPS on a single RTX 2080Ti GPU with a 1024x2048-pixel image.

研究动机与目标

• 解决移动与自动驾驶系统中实现实时语义分割的高性能挑战。
• 在模型精度、参数量与推理速度之间实现平衡。
• 设计一种高效的特征提取机制，在不增加计算成本的前提下保持空间与通道级上下文信息。
• 通过最小化模型大小与内存占用，实现对资源受限设备的部署支持。

提出的方法

• 提出一种通道级特征金字塔（CFP）模块，对每个通道独立应用空洞卷积以提取多尺度特征。
• 采用空洞率逐级增大的一系列空洞卷积，捕获长距离上下文信息，同时保持空间分辨率。
• 通过将通道级特征学习与空间聚合解耦，使 CFP 模块在参数效率方面表现优异。
• 将 CFP 模块集成到轻量化编码器-解码器架构中，用于语义分割任务。
• 通过最小化参数量与内存使用，优化网络以提升推理速度。
• 在 Cityscapes 与 CamVid 数据集上，采用标准交叉熵损失与平均交并比（mIoU）损失进行端到端训练。

实验结果

研究问题

• RQ1 通道级特征金字塔模块是否能以极低的参数开销有效捕获多尺度上下文？
• RQ2 CFP 模块在高分辨率输入下，能在多大程度上提升 mIoU 同时保持实时推理速度？
• RQ3 与现有实时分割模型相比，该架构在精度、模型大小与速度方面表现如何？
• RQ4 CFPNet 是否能在显著减少参数量的前提下，实现在基准数据集上的最先进性能？
• RQ5 以通道为单位使用空洞卷积是否能有效保留空间细节并提升特征表示能力？

主要发现

• CFPNet 在 Cityscapes 测试集上达到 70.1% 的类别平均 mIoU，展现出强大的分割精度。
• 模型仅使用 0.55 百万个参数与 2.5 MB 显存，适用于实时部署，具有高度紧凑性。
• 在单张 RTX 2080Ti GPU 上，对 1024×2048 分辨率图像的推理速度达到 30 FPS，满足实时性要求。
• CFP 模块以极低计算成本实现有效的多尺度特征学习，相比标准金字塔模块更具效率。
• 在 CamVid 数据集上，模型也表现出具有竞争力的性能，验证了其在不同数据集上的泛化能力。
• 消融实验表明，通道级设计在保持 mIoU 性能的同时显著降低了参数量。