[论文解读] Class Activation Map Generation by Representative Class Selection and Multi-Layer Feature Fusion

Fanman Meng, Kaixu Huang+2 more|arXiv (Cornell University)|Jan 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 22被引用 10

一句话总结

本文提出了一种新颖的类激活图（CAM）生成方法，通过选择代表性类别进行二分类并融合多层特征，提升了定位精度。通过聚类识别判别性类别对，并结合高层与低层特征，该方法在PASCAL VOC和COCO数据集上实现了最先进性能，使用ResNet-101在PASCAL VOC 2012上达到33.43%的mIoU，在COCO 2017上达到15.41%。

ABSTRACT

Existing method generates class activation map (CAM) by a set of fixed classes (i.e., using all the classes), while the discriminative cues between class pairs are not considered. Note that activation maps by considering different class pair are complementary, and therefore can provide more discriminative cues to overcome the shortcoming of the existing CAM generation that the highlighted regions are usually local part regions rather than global object regions due to the lack of object cues. In this paper, we generate CAM by using a few of representative classes, with aim of extracting more discriminative cues by considering each class pair to obtain CAM more globally. The advantages are twofold. Firstly, the representative classes are able to obtain activation regions that are complementary to each other, and therefore leads to generating activation map more accurately. Secondly, we only need to consider a small number of representative classes, making the CAM generation suitable for small networks. We propose a clustering based method to select the representative classes. Multiple binary classification models rather than a multiple class classification model are used to generate the CAM. Moreover, we propose a multi-layer fusion based CAM generation method to simultaneously combine high-level semantic features and low-level detail features. We validate the proposed method on the PASCAL VOC and COCO database in terms of segmentation groundtruth. Various networks such as classical network (Resnet-50, Resent-101 and Resnet-152) and small network (VGG-19, Resnet-18 and Mobilenet) are considered. Experimental results show that the proposed method improves the CAM generation obviously.

研究动机与目标

• 解决现有CAM方法使用所有类别进行比较所导致的局部化而非全局激活区域的问题。
• 通过选择一组提供互补判别线索的小型代表性类别，克服类别间干扰问题。
• 通过使用多个二分类模型而非单一多分类模型，实现在小型网络上的有效CAM生成。
• 通过融合不同网络层的高层语义特征与低层细节特征，提升特征表示能力。

提出的方法

• 提出一种基于聚类的方法，利用分类相似性矩阵从全部类别中选择代表性类别。
• 基于类别对之间的分类性能构建相似性矩阵，以指导聚类过程。
• 应用改进的k-means聚类算法，识别出能最大化互补激活线索的一组代表性类别。
• 训练多个二分类模型，每个模型将一个目标类别与其实例代表类别进行比较，以生成独立的CAM。
• 采用多层特征融合策略，将CNN不同层（如Layer1至Layer4）的激活图进行融合，以同时保留语义与空间细节。
• 通过简单的平均策略融合来自代表性类别对的二分类CAM，生成最终更精确的激活图。

实验结果

研究问题

• RQ1 使用代表性类别子集而非全部类别，是否能改善类激活图的全局定位性能？
• RQ2 比较类别的选择如何影响生成CAM的判别质量与空间覆盖范围？
• RQ3 通过结合不同网络深度的语义与空间信息，多层特征融合是否能提升CAM质量？
• RQ4 所提出方法在小型神经网络（如MobileNet和ResNet-18）上是否保持或提升性能？
• RQ5 在标准基准上，与Grad-CAM、CAM、ACoL和CBAM等现有CAM生成技术相比，该方法在mIoU指标上的表现如何？

主要发现

• 所提方法在PASCAL VOC 2012验证集上达到33.43%的mIoU，显著优于基线Grad-CAM方法（27.94%）及其他最先进方法。
• 在COCO 2017验证集上，该方法达到15.41%的mIoU，较之前最佳方法（CBAM）提升超过5个百分点。
• 消融实验表明，多层融合使性能提升2.56个百分点（从12.85%提升至15.41% mIoU），证明了特征融合的有效性。
• 由于采用二分类模型，该方法在小型网络（如MobileNet和ResNet-18）上表现良好，计算开销更低。
• 代表性类别选择使激活图更具全局定位性，定性对比显示，该方法能突出整个物体而非局部区域。
• 在COCO和PASCAL VOC上，该方法优于ACoL和CBAM，后两者在复杂场景中因物体擦除或注意力错位而出现性能下降。