[论文解读] CTNet: Context-based Tandem Network for Semantic Segmentation

Zechao Li, Yanpeng Sun+1 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Neural Network Applications参考文献 58被引用 5

一句话总结

CTNet 提出了一种新颖的并联网络，通过联合建模通道和空间上下文依赖关系来实现语义分割，采用通道上下文模块（CCM）和空间上下文模块（SCM），并结合交互式特征优化。该方法实现了最先进性能，在 PASCAL VOC2012 上达到 85.3% 的 mIoU，在 PASCAL-Context 上达到 55.5%。

ABSTRACT

Contextual information has been shown to be powerful for semantic segmentation. This work proposes a novel Context-based Tandem Network (CTNet) by interactively exploring the spatial contextual information and the channel contextual information, which can discover the semantic context for semantic segmentation. Specifically, the Spatial Contextual Module (SCM) is leveraged to uncover the spatial contextual dependency between pixels by exploring the correlation between pixels and categories. Meanwhile, the Channel Contextual Module (CCM) is introduced to learn the semantic features including the semantic feature maps and class-specific features by modeling the long-term semantic dependence between channels. The learned semantic features are utilized as the prior knowledge to guide the learning of SCM, which can make SCM obtain more accurate long-range spatial dependency. Finally, to further improve the performance of the learned representations for semantic segmentation, the results of the two context modules are adaptively integrated to achieve better results. Extensive experiments are conducted on three widely-used datasets, i.e., PASCAL-Context, ADE20K and PASCAL VOC2012. The results demonstrate the superior performance of the proposed CTNet by comparison with several state-of-the-art methods.

研究动机与目标

• 解决现有方法在语义分割中未能充分挖掘通道与空间上下文的局限性。
• 通过融合两种模态，克服空间上下文方法中的“类别感受野缺陷”和通道上下文方法中的“像素感受野缺陷”。
• 通过在通道与空间上下文模块之间实现双向特征交互，提升分割精度。
• 在 SCM 中设计一种高效的自注意力机制，在降低计算成本的同时保持性能。
• 通过自适应融合多维上下文表征，实现在多个基准数据集上的最先进性能。

提出的方法

• 引入通道上下文模块（CCM），通过全局特征聚合建模通道间的长期语义依赖，并学习类别特定特征。
• 设计一种新型自注意力机制的空间上下文模块（SCM），以高效捕捉像素间的长程空间依赖关系。
• 建立一种并联训练框架，利用 CCM 的特征作为先验知识，指导 SCM 的学习，从而提升空间上下文建模的准确性。
• 通过可学习权重自适应融合 CCM 和 SCM 的输出，平衡通道与空间上下文的贡献，提升分割性能。
• 使用预训练主干网络提取初始特征，随后经过 CCM 和 SCM 处理以优化特征表示。
• 在增强数据集上预训练后，对原始数据集进行微调，以提升模型的泛化能力和性能。

实验结果

研究问题

• RQ1 与仅使用单一上下文类型的现有方法相比，联合建模通道与空间上下文是否能提升语义分割性能？
• RQ2 通道与空间上下文模块之间的交互式特征优化如何影响分割精度与鲁棒性？
• RQ3 SCM 中的自注意力机制在多大程度上可降低计算成本，同时保持长程空间依赖建模能力？
• RQ4 使用 CCM 学习到的特征作为先验知识，是否能提升 SCM 中的空间上下文学习效果？
• RQ5 通道与空间上下文表征的自适应融合是否能带来在多样化数据集上的更好泛化能力？

主要发现

• 在 PASCAL VOC2012 上，CTNet 达到 85.3% 的 mIoU，优于所有对比的最先进方法，包括 OCR、DMNet 和 PAN。
• 在 PASCAL-Context 上，CTNet 达到 55.5% 的 mIoU，展现出在具有长尾分布挑战的数据集上的强大性能。
• 在 ADE20K 上，模型取得 45.94% 的 mIoU，表明其在大规模、细粒度分割任务中的鲁棒性。
• 消融实验表明，CCM 和 SCM 均有显著贡献，其中并联交互机制带来最大的性能提升。
• 自适应融合策略有效平衡了通道与空间上下文，使所有类别均获得一致的性能提升。
• SCM 中提出的自注意力机制保持了高效率，在避免标准自注意力高计算成本的同时，维持了性能。