[论文解读] Combinational Class Activation Maps for Weakly Supervised Object Localization

Seunghan Yang, Yoonhyung Kim+2 more|arXiv (Cornell University)|Oct 12, 2019

Advanced Neural Network Applications参考文献 30被引用 6

一句话总结

本文提出了一种新型弱监督目标定位方法——非局部组合类激活图（NL-CCAM），通过将所有类别按预测置信度排序后的激活图进行组合，以抑制背景区域并提升定位精度。该方法在低层和高层网络层均引入非局部模块，并采用激活图的线性组合策略，在ILSVRC 2016和CUB-200-2011数据集上实现了当前最优性能，将CUB-200-2011上的Top-1错误率降低至47.60%。

ABSTRACT

Weakly supervised object localization has recently attracted attention since it aims to identify both class labels and locations of objects by using image-level labels. Most previous methods utilize the activation map corresponding to the highest activation source. Exploiting only one activation map of the highest probability class is often biased into limited regions or sometimes even highlights background regions. To resolve these limitations, we propose to use activation maps, named combinational class activation maps (CCAM), which are linear combinations of activation maps from the highest to the lowest probability class. By using CCAM for localization, we suppress background regions to help highlighting foreground objects more accurately. In addition, we design the network architecture to consider spatial relationships for localizing relevant object regions. Specifically, we integrate non-local modules into an existing base network at both low- and high-level layers. Our final model, named non-local combinational class activation maps (NL-CCAM), obtains superior performance compared to previous methods on representative object localization benchmarks including ILSVRC 2016 and CUB-200-2011. Furthermore, we show that the proposed method has a great capability of generalization by visualizing other datasets.

研究动机与目标

• 解决现有弱监督目标定位方法仅依赖最高激活类别图的局限性，此类方法常会突出判别性局部区域或背景区域。
• 通过按预测置信度排序的所有类别激活图的线性组合，抑制背景区域，从而提升定位精度。
• 通过在低层和高层特征层集成非局部模块，建模长距离空间依赖关系，增强特征表示能力。
• 在无需边界框标注的情况下，实现在标准基准上的优越性能。

提出的方法

• 提出组合类激活图（CCAM），即对从最高到最低概率类别的激活图进行线性组合，以抑制背景区域并突出完整物体区域。
• 采用基于类别置信度加权激活图的组合函数，实证分析表明，使用最高和最低置信度的激活图（top-1与bottom-1）可取得优异性能。
• 在低层（早期特征图）和高层（深层特征）均集成非局部模块，以捕捉长距离空间与通道关系。
• 采用多尺度特征融合策略，结合低层的边缘/纹理细节与高层的语义上下文信息，实现鲁棒的定位效果。
• 应用可微分的组合函数生成最终定位图，突出物体部分并最小化背景激活。
• 仅使用图像级别标签进行端到端训练，无需边界框标注。

实验结果

研究问题

• RQ1 将所有类别（而不仅最高类别）的激活图进行组合，是否能有效提升背景抑制能力与定位精度？
• RQ2 在低层与高层均引入非局部模块，对特征表示与定位性能有何影响？
• RQ3 在不同置信度水平下合并激活图的最优组合函数是什么，可使定位精度最大化？
• RQ4 所提出方法是否在具有不同物体复杂度与类别相似性的多样化数据集上具备良好的泛化能力？

主要发现

• NL-CCAM在CUB-200-2011数据集上达到47.60%的Top-1错误率，优于此前的最先进方法。
• 仅使用top-1与bottom-1激活图（top-1 & bottom-1）在ILSVRC 2016上实现49.83%的Top-1错误率，优于此前SOTA方法0.63%。
• 消融实验证实，在低层与高层均使用非局部模块相比仅在单一层使用，可将Top-1错误率降低近5%。
• 仅使用CCAM即可使性能相比基线提升7.91%，证明其在背景抑制方面的有效性。
• 由于鸟类物种间存在较高类别相似性，CUB-200-2011上多项式组合函数（如二次、三次）表现更优；而ILSVRC 2016上简单函数表现更佳。
• 可视化结果表明，高置信度图突出物体局部区域，而低置信度图更倾向于强调背景；两者的组合能有效抑制背景并完整捕捉物体区域。