[论文解读] Deep Attentional Structured Representation Learning for Visual Recognition

Krishna Kanth Nakka, Mathieu Salzmann|arXiv (Cornell University)|May 1, 2018

Domain Adaptation and Few-Shot Learning被引用 3

一句话总结

该论文提出了一种端到端的深度注意力结构化表征学习框架，该框架在训练过程中联合预测图像类别标签并学习图像特定的注意力图，且无需额外监督。通过聚焦于具有判别性的图像区域进行聚合，该方法在场景识别和细粒度分类基准上取得了最先进性能，优于那些将所有区域同等对待的标准结构化表征方法。

ABSTRACT

Structured representations, such as Bags of Words, VLAD and Fisher Vectors, have proven highly effective to tackle complex visual recognition tasks. As such, they have recently been incorporated into deep architectures. However, while effective, the resulting deep structured representation learning strategies typically aggregate local features from the entire image, ignoring the fact that, in complex recognition tasks, some regions provide much more discriminative information than others. In this paper, we introduce an attentional structured representation learning framework that incorporates an image-specific attention mechanism within the aggregation process. Our framework learns to predict jointly the image class label and an attention map in an end-to-end fashion and without any other supervision than the target label. As evidenced by our experiments, this consistently outperforms attention-less structured representation learning and yields state-of-the-art results on standard scene recognition and fine-grained categorization benchmarks.

研究动机与目标

• 解决现有结构化表征学习方法在所有图像区域上均匀聚合特征的局限性，忽略区域的判别性。
• 开发一种深度学习框架，在端到端训练过程中学习图像特定的注意力图，仅使用图像级别的分类标签作为监督信号。
• 通过强调信息丰富的局部特征，提升在复杂视觉识别任务（如场景识别和细粒度分类）中的性能。

提出的方法

• 在结构化表征学习流程中集成注意力机制，根据其与分类任务的相关性动态加权局部特征。
• 采用端到端训练方式，仅使用图像级别的标签作为监督，联合优化图像分类和注意力图预测。
• 使用可微分的注意力模块生成空间注意力图，随后在聚合为结构化表征之前对局部特征应用注意力加权。
• 采用标准的结构化表征组件（如VLAD或Fisher向量），但在注意力加权后的特征上进行应用。
• 注意力机制在反向传播过程中进行学习，使网络能够自动识别并强调语义上重要的图像区域。
• 该框架兼容多种深度特征和结构化表征类型，支持在不同识别任务中灵活部署。

实验结果

研究问题

• RQ1 端到端可训练的注意力机制是否能够提升视觉识别中结构化表征的判别能力？
• RQ2 在复杂识别任务中，基于注意力的特征聚合与对所有图像区域进行均匀聚合相比表现如何？
• RQ3 仅使用图像级别标签而无需边界框或像素级标注时，注意力图能否被有效学习？
• RQ4 将注意力机制引入结构化表征学习是否能在标准基准上实现最先进性能？
• RQ5 所提出方法在多样化的视觉识别任务（如场景识别和细粒度分类）中表现如何？

主要发现

• 所提出的注意力结构化表征学习框架在性能上持续优于不使用注意力机制的标准结构化表征学习方法。
• 该模型在标准场景识别基准上取得了最先进性能，展现出优越的泛化能力和判别能力。
• 注意力机制成功识别并强调了语义相关的图像区域，从而在无额外监督的情况下提升了特征表示质量。
• 端到端训练方案实现了分类与注意力的联合优化，生成了更一致且任务相关的注意力图。
• 该方法在不同数据集和任务上均表现出良好的泛化能力，尤其在细粒度分类任务中，即使视觉差异细微也能有效识别。