[论文解读] Decoders Matter for Semantic Segmentation: Data-Dependent Decoding Enables Flexible Feature Aggregation

Zhi Tian, Tong He+2 more|arXiv (Cornell University)|Mar 5, 2019

Advanced Neural Network Applications参考文献 35被引用 8

一句话总结

本文提出一种数据相关的上采样模块 DUpsampling，用于替代语义分割解码器中的标准双线性上采样。通过利用标签空间的冗余性，DUpsampling 能够从低分辨率特征（例如 1/16 或 1/32 分辨率）中实现精确的像素级预测，支持灵活的特征聚合，并将计算量减少约 80%，同时在 PASCAL VOC（88.1% mIOU）和 PASCAL Context（52.5% mIOU）上达到最先进性能，且仅需先前模型 30% 的计算量。

ABSTRACT

Recent semantic segmentation methods exploit encoder-decoder architectures to produce the desired pixel-wise segmentation prediction. The last layer of the decoders is typically a bilinear upsampling procedure to recover the final pixel-wise prediction. We empirically show that this oversimple and data-independent bilinear upsampling may lead to sub-optimal results. In this work, we propose a data-dependent upsampling (DUpsampling) to replace bilinear, which takes advantages of the redundancy in the label space of semantic segmentation and is able to recover the pixel-wise prediction from low-resolution outputs of CNNs. The main advantage of the new upsampling layer lies in that with a relatively lower-resolution feature map such as $\frac{1}{16}$ or $\frac{1}{32}$ of the input size, we can achieve even better segmentation accuracy, significantly reducing computation complexity. This is made possible by 1) the new upsampling layer's much improved reconstruction capability; and more importantly 2) the DUpsampling based decoder's flexibility in leveraging almost arbitrary combinations of the CNN encoders' features. Experiments demonstrate that our proposed decoder outperforms the state-of-the-art decoder, with only $\sim$20\% of computation. Finally, without any post-processing, the framework equipped with our proposed decoder achieves new state-of-the-art performance on two datasets: 88.1\% mIOU on PASCAL VOC with 30\% computation of the previously best model; and 52.5\% mIOU on PASCAL Context.

研究动机与目标

• 解决标准双线性上采样在语义分割解码器中效率低下且性能不佳的问题。
• 在不牺牲分割精度的前提下，降低高分辨率特征恢复的计算复杂度。
• 将融合的低层特征分辨率与最终预测分辨率解耦，提升特征聚合的设计灵活性。
• 仅使用先前最先进模型 30% 的计算量，实现最先进性能。

提出的方法

• 提出 DUpsampling，一种可学习的、数据相关的上采样层，利用标签空间冗余性，从低分辨率 CNN 特征中重建高分辨率预测。
• 用 DUpsampling 替换标准编码器-解码器架构中最后的双线性上采样层，以提高重建精度。
• 设计解码器在最低分辨率（如 1/16 或 1/32）处融合特征，再进行上采样，从而减少空间计算量。
• 在训练过程中使用自适应温度 Softmax，以稳定 DUpsampling 模块的学习。
• 采用可学习的卷积核，动态适应输入特征和分割标签模式，提升空间细节恢复能力。
• 在推理阶段应用多尺度推理和数据增强，进一步提升性能。

实验结果

研究问题

• RQ1 一种数据相关的上采样方法是否能在语义分割精度上超越标准双线性上采样？
• RQ2 用可学习的、标签感知的上采样方法替代双线性上采样，是否能在保持或提升性能的同时降低计算成本？
• RQ3 将融合特征的分辨率与最终预测分辨率解耦，是否能实现更有效且灵活的特征聚合？
• RQ4 一个采用 DUpsampling 的轻量化解码器是否能以显著减少的计算量实现最先进性能？

主要发现

• 基于 DUpsampling 的解码器在 PASCAL VOC 测试集上达到 88.1% mIOU，创下新 SOTA，计算量仅为 DeepLabv3+ 的 30%（897.94B 次乘加运算，对比 3055.35B）。
• 在 PASCAL Context 上，该框架使用 Xception-71 模型达到 52.5% mIOU，创下新 SOTA，且无需 COCO 预训练，计算量仅为先前模型的 1/3。
• 该方法在保持或提升性能的同时，将计算量减少了约 80%，即使使用分辨率更低的编码器（如输出步长为 16）而非更昂贵的 8 步长主干网络，亦能实现。
• 实验表明，自适应温度 Softmax 显著提升了训练稳定性，相比原始 Softmax 提升了 3.34% mIOU（69.81% vs. 73.15%）。
• 解码器的灵活性使得在任意特征层级之间实现有效特征聚合成为可能，消融实验证明在较低分辨率处融合特征可提升性能。
• 在相同训练设置下，该框架优于原始双线性解码器，证实了 DUpsampling 在重建能力与效率方面的优越性。