[论文解读] Rethinking Dilated Convolution for Real-time Semantic Segmentation

Roland Gao|arXiv (Cornell University)|Nov 18, 2021

Advanced Neural Network Applications参考文献 47被引用 9

一句话总结

本文提出 RegSeg，一种实时语义分割模型，通过在整个主干网络中使用大而可调的膨胀率膨胀卷积来替代传统下采样，从而实现大且可控的感受野。通过引入一种新型 D 模块，结合并行膨胀卷积和可微神经架构搜索以确定最优膨胀率，RegSeg 在无需 ImageNet 预训练的情况下，在 Cityscapes 和 CamVid 数据集上实现了最先进的精度-效率权衡，分别在 37 FPS 下达到 78.3 mIOU，在 112 FPS 下达到 80.9 mIOU。

ABSTRACT

The field-of-view is an important metric when designing a model for semantic segmentation. To obtain a large field-of-view, previous approaches generally choose to rapidly downsample the resolution, usually with average poolings or stride 2 convolutions. We take a different approach by using dilated convolutions with large dilation rates throughout the backbone, allowing the backbone to easily tune its field-of-view by adjusting its dilation rates, and show that it's competitive with existing approaches. To effectively use the dilated convolution, we show a simple upper bound on the dilation rate in order to not leave gaps in between the convolutional weights, and design an SE-ResNeXt inspired block structure that uses two parallel $3 imes 3$ convolutions with different dilation rates to preserve the local details. Manually tuning the dilation rates for every block can be difficult, so we also introduce a differentiable neural architecture search method that uses gradient descent to optimize the dilation rates. In addition, we propose a lightweight decoder that restores local information better than common alternatives. To demonstrate the effectiveness of our approach, our model RegSeg achieves competitive results on real-time Cityscapes and CamVid datasets. Using a T4 GPU with mixed precision, RegSeg achieves 78.3 mIOU on Cityscapes test set at $37$ FPS, and 80.9 mIOU on CamVid test set at $112$ FPS, both without ImageNet pretraining.

研究动机与目标

• 通过在整个主干网络中用膨胀卷积替代标准下采样，解决实时语义分割模型中感受野过小的局限性。
• 通过调节膨胀率，实现对感受野的精确控制，同时避免特征覆盖中的间隙。
• 通过使用具有不同膨胀率的双路径膨胀卷积模块（D 模块），在高分辨率特征中保留局部细节。
• 通过可微变形卷积实现的可微神经架构搜索，自动化膨胀率的选择。
• 设计一种轻量级解码器，以在实时推理中优于常见替代方案地恢复局部细节。

提出的方法

• 引入膨胀率的上限，以防止卷积核权重之间出现间隙，确保感受野的完整覆盖。
• 设计一种受 SE-ResNeXt 启发的 D 模块，通过使用两个具有不同膨胀率的并行 3×3 卷积，平衡大感受野与局部细节保留。
• 通过学习偏移参数，将膨胀卷积表示为可微的可变形卷积，从而实现对膨胀率的基于梯度的优化。
• 采用基于梯度下降的可微神经架构搜索方法，联合优化主干网络中所有模块的膨胀率。
• 提出一种轻量级解码器，能有效恢复特征抽象过程中丢失的空间细节，提升定位精度。
• 端到端训练模型，无需 ImageNet 预训练，以增强数据效率和泛化能力。

实验结果

研究问题

• RQ1 能否在实时语义分割主干网络中，使用大而可调的膨胀率膨胀卷积替代传统下采样，以实现更大且更可控的感受野？
• RQ2 如何在保留高分辨率特征中局部图像细节的同时最大化感受野？
• RQ3 可微神经架构搜索能否有效应用于深度学习模型中膨胀率的优化？
• RQ4 轻量级解码器在不牺牲推理速度的前提下，与现有解码器相比，在恢复空间细节方面表现如何？
• RQ5 基于膨胀卷积的主干网络，若不使用 ImageNet 预训练，是否能实现优于现有实时模型的精度-效率权衡？

主要发现

• 在使用 T4 GPU 和混合精度训练的情况下，RegSeg 在 Cityscapes 测试集上以 37 FPS 达到 78.3 mIOU，且无需 ImageNet 预训练。
• 在 CamVid 数据集上，RegSeg 在 112 FPS 下达到 80.9 mIOU，分别优于之前的 SOTA 模型 DDRNet-23（+0.8%）和 BiSeNetV2-L（+2.4%）。
• 如比较图表所示，RegSeg 在 Cityscapes 上实现了最佳的参数-精度和 FLOPS-精度权衡。
• 在相同训练设置下，模型与 DDRNet-23 性能相当，但实现更高的 FPS（38 vs. 33）和更低的参数量（3.34M vs. 20.1M）。
• 采用双路径膨胀卷积的 D 模块将有效感受野扩大至 2399，显著高于 DeepLabv3+ 的 1055，同时保留了局部细节。
• 用于膨胀率优化的可微 NAS 方法结果与人工调优相当，证明了感受野配置端到端学习的可行性。