[论文解读] Inter-Image Communication for Weakly Supervised Localization

Xiaolin Zhang, Yunchao Wei+1 more|arXiv (Cornell University)|Aug 12, 2020

Advanced Neural Network Applications参考文献 49被引用 12

一句话总结

该论文提出了一种名为跨图像通信（Inter-Image Communication, I2C）的新方法，用于弱监督目标定位，通过在同类别图像之间强制执行特征一致性来提升定位图的准确性。通过在小批量内引入随机一致性（Stochastic Consistency, SC），并在整个数据集上通过可学习的类别特定中心实现全局一致性（Global Consistency, GC），I2C在计算开销极小的情况下增强了特征鲁棒性，在ILSVRC验证集上实现了45.17%的SOTA（最先进）Top-1定位误差。

ABSTRACT

Weakly supervised localization aims at finding target object regions using only image-level supervision. However, localization maps extracted from classification networks are often not accurate due to the lack of fine pixel-level supervision. In this paper, we propose to leverage pixel-level similarities across different objects for learning more accurate object locations in a complementary way. Particularly, two kinds of constraints are proposed to prompt the consistency of object features within the same categories. The first constraint is to learn the stochastic feature consistency among discriminative pixels that are randomly sampled from different images within a batch. The discriminative information embedded in one image can be leveraged to benefit its counterpart with inter-image communication. The second constraint is to learn the global consistency of object features throughout the entire dataset. We learn a feature center for each category and realize the global feature consistency by forcing the object features to approach class-specific centers. The global centers are actively updated with the training process. The two constraints can benefit each other to learn consistent pixel-level features within the same categories, and finally improve the quality of localization maps. We conduct extensive experiments on two popular benchmarks, i.e., ILSVRC and CUB-200-2011. Our method achieves the Top-1 localization error rate of 45.17% on the ILSVRC validation set, surpassing the current state-of-the-art method by a large margin. The code is available at https://github.com/xiaomengyc/I2C.

研究动机与目标

• 为解决弱监督目标定位（WSOL）中仅依赖图像级别标签时定位图不准确的问题。
• 通过强制同一物体类别不同图像之间的特征表示保持一致，来提升定位质量。
• 以极低的计算成本实现这种一致性，避免使用复杂架构或重型辅助模块。
• 学习在训练过程中动态演化的鲁棒、类别特定的特征中心，以指导特征对齐。
• 在标准WSOL基准上展示SOTA性能，具备强泛化能力与超参数鲁棒性。

提出的方法

• 随机一致性（SC）在小批量内强制来自不同图像的高激活种子点之间的特征一致性。
• 全局一致性（GC）通过将所有图像中的物体特征引导至可学习的、类别特定的特征中心，实现跨整个数据集的特征对齐。
• 全局中心通过基于动量的移动平均策略在训练过程中主动更新，以反映类别表征的动态演化。
• 通过在激活分数上设置阈值（δ=0.7）从定位图中选取种子点，以识别具有区分性的物体区域。
• 该方法引入两个辅助损失项：一个用于SC，以对齐小批量内的特征；另一个用于GC，以将特征对齐至类别中心。
• 整体训练目标结合交叉熵损失与SC和GC损失，分别由超参数λ₁和λ₂加权。

实验结果

研究问题

• RQ1 在同类别不同图像之间强制执行跨图像特征一致性，是否能提升弱监督学习中的定位准确性？
• RQ2 在小批量内（SC）和整个数据集上（GC）强制一致性，是否能带来更鲁棒、更具区分性的特征表示？
• RQ3 与SOTA的WSOL方法相比，该方法在定位误差和超参数鲁棒性方面表现如何？
• RQ4 能否在训练过程中动态学习有效的特征中心，以指导图像间的一致性特征学习？
• RQ5 采样种子点数量（K）的变化对定位性能和稳定性有何影响？

主要发现

• 所提出的I2C方法在ILSVRC验证集上实现了45.17%的Top-1定位误差，超越了此前的SOTA方法。
• 引入全局一致性（GC）后，定位误差从仅使用SC的48.07%降低至45.17%，证明了全局特征对齐的有效性。
• 模型对超参数变化具有鲁棒性：当λ₂值在0.0001至0.1的1000倍范围内变化时，定位误差仅波动0.96%。
• 即使种子点数量较少，方法仍表现良好：当K从3增至100时，定位误差仅变化0.46%，最优性能出现在K=3。
• 当K=60时，分类误差降至最低28.40%，表明种子点数量与定位准确率之间存在权衡。
• SC与GC的结合使特征更具一致性和区分性，定位图质量提升，且在多种设置下均表现出强鲁棒性。