[论文解读] Dynamic Neural Representational Decoders for High-Resolution Semantic Segmentation

Bowen Zhang, Yifan Liu+2 more|arXiv (Cornell University)|Jul 30, 2021

Advanced Neural Network Applications参考文献 22被引用 6

一句话总结

本文提出动态神经表征解码器（NRD），一种新颖且高效的高分辨率语义分割解码器，通过将局部语义标签块表示为紧凑的神经网络来实现。通过从编码器特征动态生成这些神经表征并利用标签平滑性，NRD 在计算成本比 DeeplabV3+ 降低最多 30%、比空洞卷积编码器方法降低 15% 的情况下，实现了最先进（SOTA）的精度表现。

ABSTRACT

Semantic segmentation requires per-pixel prediction for a given image. Typically, the output resolution of a segmentation network is severely reduced due to the downsampling operations in the CNN backbone. Most previous methods employ upsampling decoders to recover the spatial resolution. Various decoders were designed in the literature. Here, we propose a novel decoder, termed dynamic neural representational decoder (NRD), which is simple yet significantly more efficient. As each location on the encoder's output corresponds to a local patch of the semantic labels, in this work, we represent these local patches of labels with compact neural networks. This neural representation enables our decoder to leverage the smoothness prior in the semantic label space, and thus makes our decoder more efficient. Furthermore, these neural representations are dynamically generated and conditioned on the outputs of the encoder networks. The desired semantic labels can be efficiently decoded from the neural representations, resulting in high-resolution semantic segmentation predictions. We empirically show that our proposed decoder can outperform the decoder in DeeplabV3+ with only 30% computational complexity, and achieve competitive performance with the methods using dilated encoders with only 15% computation. Experiments on the Cityscapes, ADE20K, and PASCAL Context datasets demonstrate the effectiveness and efficiency of our proposed method.

研究动机与目标

• 为解决传统解码器从低分辨率编码器特征中恢复高分辨率语义预测时效率低下的问题。
• 利用语义标签空间中的结构先验（如局部平滑性）以提升解码效率与精度。
• 设计一种紧凑且可学习的解码器，隐式建模标签依赖关系，而不依赖主成分分析（PCA）等线性降维方法。
• 通过基于编码器特征动态生成神经表征，实现端到端训练。
• 与使用空洞卷积或高分辨率主干网络的最先进方法相比，实现具有显著降低计算复杂度的竞争力性能。

提出的方法

• 每个局部语义标签块由一个紧凑的神经网络 $ g_{\boldsymbol{\theta}}(\cdot) $ 表示，其参数为 $ \boldsymbol{\theta} $，该网络将坐标图和引导图映射为预测标签。
• 神经表征的参数 $ \boldsymbol{\theta} $ 由一个轻量级网络动态生成，该网络基于编码器在每个空间位置的特征图进行条件计算。
• 解码器将坐标图 $ (x,y) $ 和引导图 $ m $ 作为输入，送入神经表征网络以预测每个像素的语义标签。
• 神经表征的动态生成使模型能够隐式利用标签空间中的平滑性先验，从而提升泛化能力与效率。
• 整个架构支持端到端训练，将神经表征解码器无缝集成到标准编码器-解码器分割框架中。
• 该方法避免使用复杂的空洞卷积和复杂的多尺度特征融合，转而依赖紧凑且条件生成的神经表征，实现高效上采样。

实验结果

研究问题

• RQ1 神经表征对局部语义标签块的表示能否提升高分辨率语义分割中的解码效率与精度？
• RQ2 动态生成的神经表征能否有效利用语义标签空间中的平滑性先验？
• RQ3 一种紧凑且可学习的解码器能否在显著降低计算成本的前提下，超越传统解码器（如 DeeplabV3+ 中的解码器）？
• RQ4 所提方法是否能在 FLOPs 低于一半的情况下，实现与最先进模型相当的性能？
• RQ5 动态神经表征解码器能否有效集成到标准编码器-解码器架构中，实现端到端训练？

主要发现

• 在 Cityscapes 数据集上，NRD 搭配 ResNet-50 达到 80.0% mIoU（多尺度）的 mIoU，仅需 234.6 GFlops，优于 SFNet（79.5% mIoU，243.9 GFlops）。
• NRD 搭配 ResNet-101 在 Cityscapes 上达到 80.5% mIoU，计算量为 390.0 GFlops，性能与 RGNet（81.5% mIoU）相当，但计算成本不足其 30%。
• 在 ADE20K 数据集上，NRD 达到 54.1% mIoU（59 类）和 49.0% mIoU（60 类），尽管仅使用 42.9 GFlops（对比 HRNet-W48 的 82.7 GFlops），仍优于后者。
• 与 DeeplabV3+ 相比，NRD 将计算复杂度降低了约 30%，同时在所有基准测试中均实现了更优或相当的性能。
• 该方法在仅使用空洞编码器方法约 15% 计算量的情况下，实现了具有竞争力的结果，展现出强大的速度-精度权衡。
• 消融实验表明，动态神经表征相比双线性上采样和基于 PCA 的基线方法，显著提升了性能。