[论文解读] Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and Semantic Segmentation

Jinheng Xie, Jianfeng Xiang+4 more|arXiv (Cornell University)|Mar 25, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文提出对比学习类无关激活图（C²AM），一种自监督方法，仅使用无标签图像即可生成完整且可靠的前景物体区域。通过对比跨图像的前景-背景特征，并应用基于特征相似性的排名加权机制，C²AM生成类无关的激活图，从而在弱监督物体定位（WSOL）和语义分割（WSSS）任务中取得改进，相较于基线CAM方法最高实现17.5%的mIoU提升。

ABSTRACT

While class activation map (CAM) generated by image classification network has been widely used for weakly supervised object localization (WSOL) and semantic segmentation (WSSS), such classifiers usually focus on discriminative object regions. In this paper, we propose Contrastive learning for Class-agnostic Activation Map (C$^2$AM) generation only using unlabeled image data, without the involvement of image-level supervision. The core idea comes from the observation that i) semantic information of foreground objects usually differs from their backgrounds; ii) foreground objects with similar appearance or background with similar color/texture have similar representations in the feature space. We form the positive and negative pairs based on the above relations and force the network to disentangle foreground and background with a class-agnostic activation map using a novel contrastive loss. As the network is guided to discriminate cross-image foreground-background, the class-agnostic activation maps learned by our approach generate more complete object regions. We successfully extracted from C$^2$AM class-agnostic object bounding boxes for object localization and background cues to refine CAM generated by classification network for semantic segmentation. Extensive experiments on CUB-200-2011, ImageNet-1K, and PASCAL VOC2012 datasets show that both WSOL and WSSS can benefit from the proposed C$^2$AM.

研究动机与目标

• 为解决类激活图（CAMs）在弱监督物体定位（WSOL）和语义分割（WSSS）任务中的局限性，即通常仅关注稀疏、判别性区域。
• 在无需图像级标注的情况下，学习更完整且可靠的前景物体区域。
• 开发一种自监督方法，利用跨图像前景-背景对比来解耦物体与背景表征。
• 通过使用C²AM替代或优化CAMs，提升WSOL和WSSS的性能。

提出的方法

• C²AM为每张图像生成单一的类无关激活图，以区分前景与背景区域。
• 采用对比损失，将外观相似的前景或纹理/颜色相似的背景构成正样本对，将跨图像的前景-背景构成负样本对。
• 基于特征相似性的排名加权机制，降低不相似正样本对（如外观差异较大的物体）在对比学习中的影响。
• 激活头随机初始化，并通过对比损失端到端训练，逐步分离前景与背景特征。
• 生成的类无关激活图用于提取背景线索，以优化CAMs，从而提升语义分割性能。
• 该方法仅在无标签图像数据上进行训练，完全避免了图像级监督。

实验结果

研究问题

• RQ1 在无标签数据上进行自监督对比学习，是否能生成比类特定CAMs更完整、更可靠的前景物体区域？
• RQ2 在无图像级监督的情况下，跨图像前景-背景对比在解耦物体与背景表征方面有多有效？
• RQ3 当用于优化CAMs时，C²AM生成的类无关激活图是否能同时提升WSOL和WSSS性能？
• RQ4 C²AM对超参数（如排名加权因子α和激活头初始化）的敏感性如何？

主要发现

• 在ImageNet-1K数据集上，C²AM在语义分割任务中相较于基线PSA方法mIoU提升17.5%，相较于SC-CAM提升15.1%。
• 从C²AM提取的背景线索在减少虚假背景激活方面优于全监督显著性检测器。
• 在ImageNet-1K上，GT已知定位准确率在激活头不同初始化方法下保持稳定，表明对权重初始化的敏感性较低。
• 排名加权机制中的超参数α在大于0时显著提升性能，且在α值从0.1到0.9的范围内结果稳定。
• 可视化结果表明，C²AM能有效抑制虚假背景激活，并在优化后的CAMs中恢复缺失的物体部分（如牛的身体、马的腿部）。
• 该方法在WSOL和WSSS任务中均实现了SOTA性能，且训练过程中未使用任何图像级标注。