[论文解读] Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation

Xueyi Li, Tianfei Zhou+3 more|arXiv (Cornell University)|Dec 9, 2020

Advanced Neural Network Applications参考文献 62被引用 18

一句话总结

本文提出了一种基于图神经网络（GNN）的分组语义挖掘框架，用于弱监督语义分割，通过共注意力机制在一组图像之间建模图像间语义依赖关系。通过在图中迭代传播消息，并引入一种新颖的图丢弃层以防止模型过度集中于判别性区域，该方法生成了更完整且准确的伪真实标签，在PASCAL VOC 2012和COCO基准上实现了最先进性能。

ABSTRACT

Acquiring sufficient ground-truth supervision to train deep visual models has been a bottleneck over the years due to the data-hungry nature of deep learning. This is exacerbated in some structured prediction tasks, such as semantic segmentation, which requires pixel-level annotations. This work addresses weakly supervised semantic segmentation (WSSS), with the goal of bridging the gap between image-level annotations and pixel-level segmentation. We formulate WSSS as a novel group-wise learning task that explicitly models semantic dependencies in a group of images to estimate more reliable pseudo ground-truths, which can be used for training more accurate segmentation models. In particular, we devise a graph neural network (GNN) for group-wise semantic mining, wherein input images are represented as graph nodes, and the underlying relations between a pair of images are characterized by an efficient co-attention mechanism. Moreover, in order to prevent the model from paying excessive attention to common semantics only, we further propose a graph dropout layer, encouraging the model to learn more accurate and complete object responses. The whole network is end-to-end trainable by iterative message passing, which propagates interaction cues over the images to progressively improve the performance. We conduct experiments on the popular PASCAL VOC 2012 and COCO benchmarks, and our model yields state-of-the-art performance. Our code is available at: https://github.com/Lixy1997/Group-WSSS.

研究动机与目标

• 为解决仅使用图像级别标注训练精确语义分割模型的挑战，此类标注比像素级别标注成本更低。
• 通过建模图像组之间的丰富语义依赖关系，克服单图和成对方法的局限性。
• 通过利用多张相关图像的集体语义上下文，提升弱监督训练中伪真实标签的质量。
• 通过一种新颖的图丢弃机制，防止模型仅关注最具判别性的部分，从而实现完整的目标定位。

提出的方法

• 该方法将弱监督语义分割建模为一种基于图神经网络（GNN）的分组学习任务，其中每张图像作为节点，图像间的关联关系通过共注意力机制建模。
• GNN通过图中迭代的消息传递机制，聚合相关图像的语义线索，以优化图像表示。
• 引入一种图丢弃层，在训练过程中随机丢弃特征，促使模型关注判别性较低但对目标完整识别至关重要的部分。
• 通过递归消息传递实现端到端可训练，采用自集成方法融合中间输出与最终输出以提升性能。
• 共注意力机制基于图像的特征图计算图像对之间的关系，捕捉共享语义内容的同时抑制噪声。
• 最终的语义分割预测通过经图推理与自集成优化后的类别激活图（CAMs）生成。

实验结果

研究问题

• RQ1 在弱监督语义分割中，建模图像组之间的语义依赖关系是否能提升伪真实标签的质量？
• RQ2 与单图或成对方法相比，分组推理在捕捉完整目标结构方面表现如何？
• RQ3 图丢弃层在多大程度上帮助模型避免过度集中于高度判别性图像区域？
• RQ4 为最大化分割性能，消息传递步数与图丢弃超参数的最优组合是什么？

主要发现

• 所提方法在PASCAL VOC 2012基准上实现了最先进性能，在弱监督设置下优于先前方法。
• 在COCO基准上，采用自集成的模型mIoU达到68.2%，显著优于图输出（67.8%）与中间输出（64.1%）。
• 当每组图像数量超过4张时性能下降，因定位不准确带来的噪声开始占主导，表明K=4为性能瓶颈。
• 最优消息传递步数为T=3，继续增加步数会导致性能轻微下降。
• 图丢弃层至关重要：移除后mIoU下降0.5%，证明其在实现更完整目标定位中的关键作用。
• 可视化结果表明，无图丢弃时模型仅关注最具判别性的部分（如猫的头部），而启用图丢弃后，如身体等非判别性区域也得到更好激活。