[论文解读] Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition

Ming Sun, Yuchen Yuan+2 more|arXiv (Cornell University)|Jun 14, 2018

Advanced Neural Network Applications被引用 17

一句话总结

本文提出了一种新颖的端到端CNN框架，包含一个单挤压多激励（OSME）模块和多注意力多类别约束（MAMC），用于细粒度图像识别。该方法通过联合定位多个判别性部件并强制注意力区域间的度量学习，实现了高效、单阶段训练，在CUB-200-2011、Stanford Dogs、Stanford Cars以及一个新的大规模Wild Dogs数据集上达到了最先进性能，且无需部件标注。

ABSTRACT

Attention-based learning for fine-grained image recognition remains a challenging task, where most of the existing methods treat each object part in isolation, while neglecting the correlations among them. In addition, the multi-stage or multi-scale mechanisms involved make the existing methods less efficient and hard to be trained end-to-end. In this paper, we propose a novel attention-based convolutional neural network (CNN) which regulates multiple object parts among different input images. Our method first learns multiple attention region features of each input image through the one-squeeze multi-excitation (OSME) module, and then apply the multi-attention multi-class constraint (MAMC) in a metric learning framework. For each anchor feature, the MAMC functions by pulling same-attention same-class features closer, while pushing different-attention or different-class features away. Our method can be easily trained end-to-end, and is highly efficient which requires only one training stage. Moreover, we introduce Dogs-in-the-Wild, a comprehensive dog species dataset that surpasses similar existing datasets by category coverage, data volume and annotation quality. This dataset will be released upon acceptance to facilitate the research of fine-grained image recognition. Extensive experiments are conducted to show the substantial improvements of our method on four benchmark datasets.

研究动机与目标

• 解决现有弱监督细粒度识别方法将物体部件孤立处理且需要复杂多阶段训练的局限性。
• 开发一种轻量级、完全可微的注意力机制，可在一次前向传播中高效定位多个非相关部件。
• 引入基于度量学习的损失函数（MAMC），通过注意力区域和类别身份双重约束实现特征聚类。
• 收集并发布Dogs-in-the-Wild数据集，一个高质量、大规模的犬种数据集，以推动细粒度识别研究。

提出的方法

• 单挤压多激励（OSME）模块通过通道激励操作对特征图进行处理，无需显式裁剪或多次前向传播即可识别多个判别性注意力区域。
• OSME采用一次全局平均池化操作（单挤压），随后通过多个并行激励分支生成对应不同物体部件的多样化注意力图。
• 多注意力多类别约束（MAMC）损失函数在嵌入空间中拉近同一类别和同一注意力区域的特征，同时推远不同类别或不同区域的特征。
• MAMC被形式化为一种度量学习目标，旨在最小化类内和注意力区域内的距离，同时最大化类间和不同注意力区域间的距离。
• 整个网络以端到端方式在单阶段内进行训练，避免了先前方法中常见的级联或多阶段训练流程。
• 该方法在四个基准数据集上进行了评估，包括新引入的Dogs-in-the-Wild数据集，其具有高类别覆盖度、大规模数据量和高质量标注。

实验结果

研究问题

• RQ1 一个可端到端训练的单一网络能否在无需部件标注的情况下有效定位细粒度图像中的多个判别性部件？
• RQ2 通过联合度量学习损失强制多个注意力区域之间的相关性，是否能提升分类准确率？
• RQ3 轻量级的单挤压多激励模块是否能在效率和性能上超越多阶段或多尺度注意力机制？
• RQ4 在细粒度识别基准上，该方法与最先进方法相比表现如何，尤其是在不依赖额外标注的情况下？
• RQ5 新引入的Dogs-in-the-Wild数据集在多大程度上构成了更具挑战性的细粒度识别基准？

主要发现

• 在CUB-200-2011数据集上，该方法使用ResNet-101达到87.1%的top-1准确率，与最佳结果（MACNN）持平，并超越PN-CNN（86.3%）和RAM（86.9%），且无需额外标注。
• 使用ResNet-50时，该方法在无需额外标注的模型中超越第二名（RAM）0.2%，在有标注的第二名（PN-CNN）基础上超越0.8%。
• 在Stanford Dogs数据集上，该方法达到91.7%的准确率，优于所有弱监督方法，除RACNN外（其使用多阶段训练）。
• 在Stanford Cars数据集上，该方法达到93.0%的准确率，超越所有对比方法，包括多尺度和多阶段模型如DVAN和RAN。
• 在新引入的Dogs-in-the-Wild数据集上，该方法取得了最高准确率，表明其在更具挑战性、多样性和真实感的基准上具有强大鲁棒性。
• 可视化结果表明，OSME的注意力区域与人类可区分的部位（如头部、尾巴和身体轮廓）对齐，证明了其定位的有效性与意义性。