[论文解读] Coarse to Fine: Multi-label Image Classification with Global/Local Attention

Fan Lyu, Fuyuan Hu+4 more|arXiv (Cornell University)|Dec 26, 2020

Advanced Image and Video Retrieval Techniques参考文献 36被引用 4

一句话总结

本文提出一种基于全局与局部注意力机制的粗粒度到细粒度多标签图像分类模型，以模拟人类视觉感知，先关注整体图像，再聚焦于特定对象。此外，引入一种联合最大间隔目标函数，提升了性能，在 Pascal VOC 2007 上达到 85.6% mAP，在 MS-COCO 上达到 64.64% mAP，表现达到当前最优水平。

ABSTRACT

In our daily life, the scenes around us are always with multiple labels especially in a smart city, i.e., recognizing the information of city operation to response and control. Great efforts have been made by using Deep Neural Networks to recognize multi-label images. Since multi-label image classification is very complicated, people seek to use the attention mechanism to guide the classification process. However, conventional attention-based methods always analyzed images directly and aggressively. It is difficult for them to well understand complicated scenes. In this paper, we propose a global/local attention method that can recognize an image from coarse to fine by mimicking how human-beings observe images. Specifically, our global/local attention method first concentrates on the whole image, and then focuses on local specific objects in the image. We also propose a joint max-margin objective function, which enforces that the minimum score of positive labels should be larger than the maximum score of negative labels horizontally and vertically. This function can further improve our multi-label image classification method. We evaluate the effectiveness of our method on two popular multi-label image datasets (i.e., Pascal VOC and MS-COCO). Our experimental results show that our method outperforms state-of-the-art methods.

研究动机与目标

• 为解决多标签图像分类中复杂场景理解的挑战，通过模仿人类视觉注意力机制。
• 通过引入结构化注意力机制，减少无关或噪声背景特征的影响。
• 通过建模全局场景上下文与局部对象特定特征，提升标签预测性能。
• 通过一种新颖的联合最大间隔目标函数，增强正负标签之间的判别能力。
• 在标准多标签基准数据集 Pascal VOC 和 MS-COCO 上验证所提方法的有效性。

提出的方法

• 使用 CNN 编码器（VGG-16）从最后一层卷积特征图中提取图像特征。
• 从最终特征图生成全局注意力，以表示图像的粗粒度整体概览。
• 在每个解码步骤中应用 RNN 解码器与局部注意力，聚焦于特定图像区域以进行单个标签预测。
• 引入一种联合最大间隔目标函数，强制在水平和垂直方向上对正负标签得分施加间隔。
• 通过交叉熵损失与最大间隔正则化器的组合进行模型优化，其中超参数 λ₁ = 5×10⁻² 和 λ₂ = 5×10⁻²。
• 通过上采样与高斯滤波处理，可视化注意力图，以解释模型在训练周期中的注意力动态演化。

Figure 1: The schematic of the proposed architecture. The encoder CNN extracts feature from images, and computes the global attention from the feature map. Then, the attended features are sent to the decoder RNN. At every step of RNN, we focus on each local attention to guide the prediction.

实验结果

研究问题

• RQ1 粗粒度到细粒度注意力机制是否能通过更好地建模场景上下文与对象特定特征，提升多标签图像分类性能？
• RQ2 与仅使用全局或局部注意力的模型相比，全局与局部注意力的融合如何提升性能？
• RQ3 在多标签设置中，联合最大间隔目标函数在多大程度上增强了正负标签之间的判别能力？
• RQ4 注意力图在训练过程中如何演化？其演化是否反映人类视觉扫描行为？
• RQ5 所提方法是否在 Pascal VOC 和 MS-COCO 等基准多标签数据集上实现了当前最优性能？

主要发现

• 所提方法在 Pascal VOC 2007 上达到 85.6% mAP，优于所有对比的当前最优方法，包括 HCP-2000C（后者需额外 2000 个类别进行训练）。
• 在局部注意力模型中加入全局注意力（VGG+LSTM+L/G）使 mAP 从 85.2% 提升至 85.4%，证明了场景级上下文的有益作用。
• 联合最大间隔目标函数（VGG+LSTM+L/G+MM）进一步将性能提升至 85.6% mAP，证实其在提升标签判别能力方面的有效性。
• 在 MS-COCO 上，模型达到 64.64% mAP，优于 VGG+LSTM+L/G 基线的 64.07%，并在大多数指标（包括 top-3 和 top-5 性能）上优于其他方法。
• 可视化结果表明，注意力从全局（广泛覆盖图像）逐步演化为局部（聚焦于特定对象），与人类视觉注意力模式一致。
• VGG+LSTM 相较于 VGG 单独使用时性能下降，表明在 MS-COCO 等大规模、标签密集的数据集上，无注意力机制的 RNN 解码可能引入噪声或降低性能。

(a) Global attention