[论文解读] Adversarial Complementary Learning for Weakly Supervised Object Localization

Xiaolin Zhang, Yunchao Wei+3 more|arXiv (Cornell University)|Apr 19, 2018

Adversarial Robustness in Machine Learning参考文献 37被引用 77

一句话总结

ACoL 引入了两个对抗性分类器，在弱监督下共同定位积分对象区域，在 ILSVRC 2016 上达到最新的 WSOL 结果。

ABSTRACT

In this work, we propose Adversarial Complementary Learning (ACoL) to automatically localize integral objects of semantic interest with weak supervision. We first mathematically prove that class localization maps can be obtained by directly selecting the class-specific feature maps of the last convolutional layer, which paves a simple way to identify object regions. We then present a simple network architecture including two parallel-classifiers for object localization. Specifically, we leverage one classification branch to dynamically localize some discriminative object regions during the forward pass. Although it is usually responsive to sparse parts of the target objects, this classifier can drive the counterpart classifier to discover new and complementary object regions by erasing its discovered regions from the feature maps. With such an adversarial learning, the two parallel-classifiers are forced to leverage complementary object regions for classification and can finally generate integral object localization together. The merits of ACoL are mainly two-fold: 1) it can be trained in an end-to-end manner; 2) dynamically erasing enables the counterpart classifier to discover complementary object regions more effectively. We demonstrate the superiority of our ACoL approach in a variety of experiments. In particular, the Top-1 localization error rate on the ILSVRC dataset is 45.14%, which is the new state-of-the-art.

研究动机与目标

• 通过在图像级监督下实现积分对象定位来激励并解决基于 CAM 的 WSOL 的局限性。
• 提出一个在前向传播过程中从最后一层特征图获取定位图的理论基础方法。
• 开发一个端到端的架构，包含两个对抗性分类器，以发现互补的对象区域。
• 展示动态抹除引导第二个分类器发现新区域并融合地图以改进定位。

提出的方法

• 提供一个理论依据，证明在前向传播过程中可以从最后的卷积特征图获得类别特定的地图。
• 引入两个并行分类器（A 和 B），由骨干特征图输入，其中分类器 B 抹除由分类器 A 标识的区域，以发现互补区域。
• 对分类器 A 的定位图进行阈值处理，以抹除骨干特征中的判别区域。
• 通过逐元素最大值融合两个分类器的归一化定位图，形成最终的积分定位图。
• 端到端训练网络，对两个分类器使用交叉熵损失，实现联合优化。

实验结果

研究问题

• RQ1 在弱监督下在没有后处理 CAM 步骤的情况下，如何实现积分对象定位？
• RQ2 通过动态抹除的两个对抗性分类器能否发现互补的对象区域以覆盖整个对象？
• RQ3 端到端训练并进行抹除是否能提升相对于单分类器方法的 WSOL 定位精度？

主要发现

方法	Top-1 误差	Top-5 误差.
GoogLeNet-GAP [48]	35.0	13.2
GoogLeNet	30.6	10.5
GoogLeNet-ACoL(Ours)	29.0	11.8
VGGnet-GAP [48]	33.4	12.2
VGGnet	31.2	11.4
VGGnet-ACoL(Ours)	32.5	12.0

• ACoL 在 ILSVRC 2016 上实现了最先进的 Top-1 定位误差 45.14%（在某些设置下集成结果达到 30.03% Top-5 定位）。
• ACoL 产生的定位图覆盖的对象区域比基于 CAM 的方法更大，从而得到更准确的边界框。
• 两个分类器发现互补的对象区域（例如头部与腿部），它们的融合实现了积分对象定位。
• 在分类器 A 引导下抹除判别区域，使分类器 B 能发现新区域，且地图的融合提升定位鲁棒性。
• 在不同数据集（ILSVRC、CUB-200-2011、Caltech-256）上，ACoL 提升定位结果并在不依赖边界框标注的情况下实现有竞争力的分类性能。