[论文解读] L2G: A Simple Local-to-Global Knowledge Transfer Framework for Weakly Supervised Semantic Segmentation

Peng-Tao Jiang, Yuqi Yang+2 more|arXiv (Cornell University)|Apr 7, 2022

Advanced Neural Network Applications被引用 10

一句话总结

L2G 提出了一种用于弱监督语义分割的简单局部到全局知识迁移框架，通过利用多个局部图像块生成高质量的类别激活图（CAMs），并采用在线知识蒸馏将这些CAMs提炼到全局网络中。该方法在使用图像级别监督的情况下，在 PASCAL VOC 2012 上实现了 72.1% 的 mIoU，在 MS COCO 2014 上实现了 44.2% 的 mIoU，达到当前最优性能。

ABSTRACT

Mining precise class-aware attention maps, a.k.a, class activation maps, is essential for weakly supervised semantic segmentation. In this paper, we present L2G, a simple online local-to-global knowledge transfer framework for high-quality object attention mining. We observe that classification models can discover object regions with more details when replacing the input image with its local patches. Taking this into account, we first leverage a local classification network to extract attentions from multiple local patches randomly cropped from the input image. Then, we utilize a global network to learn complementary attention knowledge across multiple local attention maps online. Our framework conducts the global network to learn the captured rich object detail knowledge from a global view and thereby produces high-quality attention maps that can be directly used as pseudo annotations for semantic segmentation networks. Experiments show that our method attains 72.1% and 44.2% mIoU scores on the validation set of PASCAL VOC 2012 and MS COCO 2014, respectively, setting new state-of-the-art records. Code is available at https://github.com/PengtaoJiang/L2G.

研究动机与目标

• 通过使用图像级别标签，提升弱监督语义分割中类别激活图（CAMs）的质量。
• 通过利用局部图像块，解决全局模型在捕捉细粒度物体细节方面的局限性。
• 实现从局部网络到全局网络的在线知识迁移，以提升注意力图质量。
• 开发一种灵活且简单的框架，可与更先进的局部模型（如 Transformer）集成以进一步提升性能。

提出的方法

• 该方法使用局部分类网络，从输入图像的随机裁剪局部块中提取注意力图。
• 全局网络通过知识蒸馏损失，学习从多个局部注意力图中提炼互补的注意力知识。
• 该框架执行在线知识迁移，使全局网络能够从多样化局部视图中学习丰富的局部细节。
• 全局网络生成的最终注意力图作为分割网络训练的伪标注。
• 该架构模块化，支持集成更强的局部模型（如 Transformer）以进一步提升性能。

实验结果

研究问题

• RQ1 与使用完整图像相比，局部图像块是否能提升类别激活图的质量？
• RQ2 能否以在线方式有效将多个局部视图的互补注意力知识迁移到全局网络？
• RQ3 所提出的局部到全局知识迁移框架是否在弱监督语义分割任务中优于现有最先进方法？
• RQ4 该方法在不同数据集上的泛化能力如何，包括 MS COCO 2014 等具有挑战性的基准？

主要发现

• L2G 框架在 PASCAL VOC 2012 验证集上实现了 72.1% 的 mIoU，创下弱监督学习下的新最先进水平。
• 在 MS COCO 2014 验证集上，该方法实现了 44.2% 的 mIoU，显著优于此前方法。
• 与先前最先进方法 EPS 相比，L2G 在 PASCAL VOC 2012 上性能提升约 1%，证明了局部到全局知识迁移的有效性。
• 在 MS COCO 上，L2G 生成的伪标签 mIoU 达到 43.4%，而 EPS 仅为 37.2%，表明其注意力图质量更优。
• 消融实验表明，局部注意力质量与知识蒸馏均对性能提升有显著贡献。