[论文解读] Learning to Predict Context-adaptive Convolution for Semantic Segmentation

Jianbo Liu, Junjun He+3 more|arXiv (Cornell University)|Apr 17, 2020

Advanced Neural Network Applications参考文献 48被引用 7

一句话总结

该论文提出上下文自适应卷积网络（CaC-Net），通过从全局上下文预测的上下文自适应卷积核，学习空间可变的特征重加权。通过使用基于高效矩阵乘法的核预测机制，CaC-Net在PASCAL Context、PASCAL VOC 2012和ADE20K上均达到最先进性能，mIoU分别为85.1%、85.1%和46.12%。

ABSTRACT

Long-range contextual information is essential for achieving high-performance semantic segmentation. Previous feature re-weighting methods demonstrate that using global context for re-weighting feature channels can effectively improve the accuracy of semantic segmentation. However, the globally-sharing feature re-weighting vector might not be optimal for regions of different classes in the input image. In this paper, we propose a Context-adaptive Convolution Network (CaC-Net) to predict a spatially-varying feature weighting vector for each spatial location of the semantic feature maps. In CaC-Net, a set of context-adaptive convolution kernels are predicted from the global contextual information in a parameter-efficient manner. When used for convolution with the semantic feature maps, the predicted convolutional kernels can generate the spatially-varying feature weighting factors capturing both global and local contextual information. Comprehensive experimental results show that our CaC-Net achieves superior segmentation performance on three public datasets, PASCAL Context, PASCAL VOC 2012 and ADE20K.

研究动机与目标

• 解决语义分割中全局共享特征重加权的局限性，该方法无法考虑不同图像区域的空间上下文需求差异。
• 通过融合全局和局部上下文信息，实现空间自适应的特征调制，以提升语义分割精度。
• 开发一种参数高效的卷积核预测方法，生成空间可变的特征加权因子，同时避免引入过多参数。
• 在保持计算和内存效率的前提下，实现在多个基准数据集上的最先进性能。

提出的方法

• 提出一种上下文自适应卷积（CaC）模块，通过轻量级、参数高效的机制，从全局上下文预测空间可变的卷积核。
• 使用矩阵乘法生成CaC核参数，而非全连接层，从而减少参数量和计算成本。
• 应用深度可分离卷积并结合预测的核，生成空间可变的特征加权图，用于调制输入特征图。
• 将空洞深度可分离卷积与多种空洞率结合，以捕捉多尺度上下文信息。
• 使用ResNet101主干网络进行端到端训练，通过交叉熵损失和Dice损失进行语义分割监督。
• 在分割网络的解码器路径中应用CaC模块，以在多尺度上优化特征表示。

实验结果

研究问题

• RQ1 空间可变的特征重加权是否能超越全局共享重加权策略，进一步提升语义分割性能？
• RQ2 如何高效利用全局上下文信息生成位置特定的特征调制，同时不增加模型复杂度？
• RQ3 所提出的上下文自适应卷积机制是否在标准基准上优于现有的注意力和重加权模块？
• RQ4 CaC-Net能否在具有不同场景复杂度和类别多样性的多样化数据集中实现良好泛化？

主要发现

• 在PASCAL VOC 2012测试集上，CaC-Net达到85.1%的平均交并比（mIoU），在未使用COCO预训练的情况下超越所有先前方法。
• 在PASCAL Context数据集上，CaC-Net实现85.1%的mIoU，表明其在长尾分布和细粒度类别上表现更优。
• 在ADE20K数据集上，CaC-Net使用ResNet101主干网络达到46.12%的mIoU，优于所有采用相同主干网络的先前方法。
• 可视化结果表明，预测的空间可变权重能有效突出特定类别区域，如水景中的船只和城市区域中的建筑物。
• 消融实验验证了所提出的CaC模块相比基线模型和标准注意力机制，显著提升了性能。
• 参数高效的核预测机制相比标准动态卷积方法，显著降低了模型大小和推理成本。