[论文解读] Simple and Efficient Architectures for Semantic Segmentation

Dushyant Mehta, Andrii Skliar+5 more|arXiv (Cornell University)|Jun 16, 2022

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出FFNet，一种采用ResNet风格主干网络（使用基础模块而非瓶颈模块）的简单编码器-解码器架构，并配备轻量化多尺度解码头，在不使用空洞卷积或复杂操作的前提下，于Cityscapes数据集上实现了最先进性能。其精度与HRNet、FANet和DDRNet相当或更优，同时在效率和硬件友好性方面显著更优。

ABSTRACT

Though the state-of-the architectures for semantic segmentation, such as HRNet, demonstrate impressive accuracy, the complexity arising from their salient design choices hinders a range of model acceleration tools, and further they make use of operations that are inefficient on current hardware. This paper demonstrates that a simple encoder-decoder architecture with a ResNet-like backbone and a small multi-scale head, performs on-par or better than complex semantic segmentation architectures such as HRNet, FANet and DDRNets. Naively applying deep backbones designed for Image Classification to the task of Semantic Segmentation leads to sub-par results, owing to a much smaller effective receptive field of these backbones. Implicit among the various design choices put forth in works like HRNet, DDRNet, and FANet are networks with a large effective receptive field. It is natural to ask if a simple encoder-decoder architecture would compare favorably if comprised of backbones that have a larger effective receptive field, though without the use of inefficient operations like dilated convolutions. We show that with minor and inexpensive modifications to ResNets, enlarging the receptive field, very simple and competitive baselines can be created for Semantic Segmentation. We present a family of such simple architectures for desktop as well as mobile targets, which match or exceed the performance of complex models on the Cityscapes dataset. We hope that our work provides simple yet effective baselines for practitioners to develop efficient semantic segmentation models.

研究动机与目标

• 探究简单编码器-解码器架构是否能够匹配或超越HRNet、FANet和DDRNet等复杂最先进语义分割模型。
• 解决在语义分割任务中应用标准ImageNet预训练ResNet（使用瓶颈模块）时因有效感受野减小而导致的性能下降问题。
• 证明通过更大感受野和高效操作构建的简单架构，可在计算成本更低的前提下实现高精度。
• 为桌面端和移动端部署提供一种实用且硬件友好的基线模型。

提出的方法

• 设计一种受FPN启发的轻量化编码器-解码器架构（FFNet），采用ResNet主干网络，但使用基础模块而非瓶颈模块，以提升有效感受野。
• 用标准卷积替代空洞卷积，并根据目标平台选择双线性插值或最近邻插值作为解码头中的上采样方式。
• 通过从主干网络多个残差阶段提取特征，并在解码头中融合这些多尺度特征，构建多尺度特征表示。
• 使用紧凑且任务特定的分割头，从多尺度特征中预测最终的语义标签。
• 在Cityscapes数据集上使用标准训练协议进行模型训练与评估，比较不同主干网络深度和宽度下的性能表现。
• 通过避免空洞卷积等硬件效率低下的操作，优先采用在CPU和边缘设备上广泛支持的操作，以优化推理效率。

实验结果

研究问题

• RQ1 采用标准ResNet主干网络的简单编码器-解码器架构，是否能在语义分割任务中超越HRNet和DDRNet等复杂最先进模型？
• RQ2 标准ImageNet预训练ResNet中使用的瓶颈模块，是否因有效感受野减小而限制了其在语义分割任务中的性能表现？
• RQ3 采用基础模块且无空洞卷积的简单架构，是否能在保持更高效率和边缘设备可部署性的同时，实现具有竞争力的精度？
• RQ4 在同一系列架构中，使用标准ImageNet预训练权重与专用任务架构之间是否存在性能差距？

主要发现

• 采用基础模块的ResNet主干网络的FFNet模型，在Cityscapes验证集上的表现与HRNet、FANet和DDRNet相当或更优。
• ResNet-122 NS模型（C-C-C头）在Cityscapes上达到78.7%的mIoU，优于多个复杂架构。
• 使用基础模块替代瓶颈模块可显著提升有效感受野，从而在性能上显著优于标准ResNet主干网络。
• 所有FFNet模型均不使用空洞卷积，仅依赖标准且硬件高效的运算操作，支持更快的推理速度和更易实现的设备端部署。
• 面向移动端优化的FFNet变体采用最近邻插值和较窄通道宽度，在低FLOPs（12.0 GFLOPs）下实现高精度（如76.5% IoU），适用于边缘设备。
• FFNet元架构的简洁性使其可轻松集成至神经架构搜索（NAS）流程中，为未来以效率为导向的模型搜索提供强大基线。