[论文解读] Extracting Class Activation Maps from Non-Discriminative Features as well

Zhaozheng Chen, Qianru Sun|arXiv (Cornell University)|Mar 18, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出局部原型CAM（LPCAM），一种新型方法，通过将局部特征聚类为原型，生成能够捕捉判别性与非判别性局部特征的类别激活图（CAMs）。通过用基于原型的相似性图替代标准分类器权重，并对每个原型独立进行归一化，LPCAM在弱监督语义分割中实现了完整的物体覆盖，且在PASCAL VOC和MS COCO数据集上优于最先进方法，计算开销极低。

ABSTRACT

Extracting class activation maps (CAM) from a classification model often results in poor coverage on foreground objects, i.e., only the discriminative region (e.g., the "head" of "sheep") is recognized and the rest (e.g., the "leg" of "sheep") mistakenly as background. The crux behind is that the weight of the classifier (used to compute CAM) captures only the discriminative features of objects. We tackle this by introducing a new computation method for CAM that explicitly captures non-discriminative features as well, thereby expanding CAM to cover whole objects. Specifically, we omit the last pooling layer of the classification model, and perform clustering on all local features of an object class, where "local" means "at a spatial pixel position". We call the resultant K cluster centers local prototypes - represent local semantics like the "head", "leg", and "body" of "sheep". Given a new image of the class, we compare its unpooled features to every prototype, derive K similarity matrices, and then aggregate them into a heatmap (i.e., our CAM). Our CAM thus captures all local features of the class without discrimination. We evaluate it in the challenging tasks of weakly-supervised semantic segmentation (WSSS), and plug it in multiple state-of-the-art WSSS methods, such as MCTformer and AMN, by simply replacing their original CAM with ours. Our extensive experiments on standard WSSS benchmarks (PASCAL VOC and MS COCO) show the superiority of our method: consistent improvements with little computational overhead.

研究动机与目标

• 为解决传统类别激活图（CAMs）在物体前景覆盖方面表现不佳的问题，后者常遗漏非判别性区域（如物体的腿或尾巴）。
• 通过用基于原型的表示替代分类器权重，克服标准CAMs仅关注判别性特征的偏差。
• 开发一种方法，既能保留局部语义（如‘头’、‘腿’、‘身体’），又能减轻由混淆上下文（如‘rail’对应‘train’）引起的误激活。
• 提出一种即插即用的替代方案，取代传统CAMs，在弱监督语义分割（WSSS）中实现性能提升，且计算成本极低。

提出的方法

• 在分类模型中省略全局平均池化层，以保留分类器前的所有空间局部化特征。
• 将所有训练图像中某类别的局部特征聚类为K个局部原型，每个原型代表一个独立的局部语义部件（如‘绵羊’的‘头’、‘腿’）。
• 对于给定图像，使用余弦距离计算其特征图与每个局部原型之间的K个相似性图，并通过每张图独立归一化，以保留非判别性区域。
• 通过平均归一化后的相似性图生成最终热力图，称为局部原型CAM（LPCAM）。
• 通过减去图像特征与聚类上下文原型之间的上下文相似性图，扩展LPCAM以抑制高度共现背景元素引起的误激活。
• 通过替换原始CAM计算步骤，将LPCAM无缝集成至现有WSSS流程中，无需对分割模型架构进行任何修改。

Figure 1 : The CAM of image $\bm{x}$ is computed by $f(\bm{x})\cdot\mathbf{w}_{c}$ , where $f(\bm{x})$ is the feature map block (before the last pooling layer of the multi-label classification model) and $\mathbf{w}_{c}$ denotes the classifier weights of class $c$ . (a) Input images. (b) CAMs genera

实验结果

研究问题

• RQ1 基于未池化特征提取的原型分类器是否能相比标准分类器权重，提升CAM中物体的覆盖度？
• RQ2 对每个基于原型的相似性图独立进行归一化，是否能保留传统CAM通常忽略的非判别性特征？
• RQ3 LPCAM在保持完整物体覆盖的同时，能在多大程度上减少由混淆上下文（如‘rail’对应‘train’）引起的误激活？
• RQ4 当LPCAM被集成至不同骨干网络与预训练策略下的多种最先进WSSS方法时，其性能表现如何？

主要发现

• 在PASCAL VOC 2012验证集上，LPCAM在AMN框架下实现70.1%的mIoU，在测试集上达到70.4%，性能达到最先进水平。
• 在更具挑战性的MS COCO数据集中，AMN+LPCAM优于原始AMN及所有基于WRN-38的先前SOTA方法，mIoU达到45.5%。
• 在多种WSSS方法（包括IRN、MCTformer和EDAM）中，LPCAM使mIoU提升0.6–0.8个百分点，且在VOC与COCO数据集上均保持一致增益。
• 消融实验表明，LPCAM对超参数变化具有鲁棒性，在不同特征选择与聚类阈值下性能下降极小。
• 定性结果表明，LPCAM能有效捕捉非判别性部件（如腿、尾巴），并抑制上下文伪影（如‘surfboard’图像中的‘waves’），但偶尔会过度激活与主体高度共现的上下文（如‘train’与‘railroad’）。

Figure 2 : The pipeline for generating LPCAM. (a) Generating local prototypes from all training images of an individual class, e.g., “sheep”. (b) Generating LPCAM by sliding both class prototypes and context prototypes over the feature block of the input image, and aggregating the obtained similarit