[论文解读] ACFNet: Attentional Class Feature Network for Semantic Segmentation

Fan Zhang, Yanqin Chen+6 more|arXiv (Cornell University)|Sep 20, 2019

Advanced Neural Network Applications参考文献 44被引用 45

一句话总结

ACFNet 引入以类别为中心的上下文和一个注意力分类特征模块，以自适应地将类别级上下文融入自粗到细分割框架，仅使用细标注数据即可达到 Cityscapes 的最先进 mIoU。

ABSTRACT

Recent works have made great progress in semantic segmentation by exploiting richer context, most of which are designed from a spatial perspective. In contrast to previous works, we present the concept of class center which extracts the global context from a categorical perspective. This class-level context describes the overall representation of each class in an image. We further propose a novel module, named Attentional Class Feature (ACF) module, to calculate and adaptively combine different class centers according to each pixel. Based on the ACF module, we introduce a coarse-to-fine segmentation network, called Attentional Class Feature Network (ACFNet), which can be composed of an ACF module and any off-the-shell segmentation network (base network). In this paper, we use two types of base networks to evaluate the effectiveness of ACFNet. We achieve new state-of-the-art performance of 81.85% mIoU on Cityscapes dataset with only finely annotated data used for training.

研究动机与目标

• 激发将类别级上下文（类别中心）作为全局、类别化上下文用于分割的研究动机。
• 提出注意力分类特征（ACF）模块，以逐像素自适应地结合类别中心。
• 通过将 ACF 与任意基础分割模型集成，构建一个自粗到细的网络（ACFNet）。
• 证明类别级上下文可以提升 Cityscapes 上的分割性能。
• 展示 ACFNet 在仅使用细标注数据的情况下达到最先进的结果。

提出的方法

• 将类别中心定义为图像内属于该类别的所有像素特征的平均值。
• 使用粗分割图来加权像素贡献，从而计算类别中心。
• 引入类别注意力块，通过用粗糙类别概率对类别中心进行加权，以为每个像素产生一个注意力分类特征。
• 通过拼接和1x1卷积，将注意力分类特征与基础网络特征融合，生成最终分割结果。
• 在训练中使用辅助监督和多项式损失，平衡粗分割和细分割目标。
• 通过将 ACF 模块应用于 ResNet-101 和 ResNet-101+ASPP 来证明兼容性。

实验结果

研究问题

• RQ1 类别级上下文（类别中心）是否能够为语义分割中的逐像素标注提供有用的全局线索？
• RQ2 在粗分割引导下，对类别中心的注意力机制是否能提高最终分割精度？
• RQ3 所提出的 ACFNet 是否在不同的基础分割体系结构上都有效？
• RQ4 自粗到细的集成和辅助损失对 Cityscapes 性能的影响是什么？

主要发现

• 结合类别中心和注意力的 ACF 模块在 Cityscapes 上提升了相对于基线的 mIoU。
• ACF(sum) 和 ACF(concat) 策略胜过简单的类别中心扩展，在细分割方面取得显著提升。
• 将 ACF 应用于 ResNet-101+ASPP 可带来显著性能提升（例如相对于 ASPP 基线提升 1.7%）。
• ACFNet 在 Cityscapes 上使用仅 train-fine 数据进行训练达到 81.85% mIoU 的最先进水平（并通过 MS/Flip 与在线自举等额外提升）。
• 消融分析表明类别中心与注意力融合贡献了有意义的性能提升，并产生更具辨识性的特征表达。