[论文解读] Multi-Label Image Recognition with Multi-Class Attentional Regions.

Bin-Bin Gao, Hong-Yu Zhou|arXiv (Cornell University)|Jul 3, 2020

Text and Document Classification Technologies参考文献 1被引用 13

一句话总结

该论文提出了一种简单且高效的两流框架，用于多标签图像识别，通过引入多类别注意力区域模块，最小化冗余区域的同时最大化多样性。通过在不使用参数化区域生成的情况下，将全局图像特征与局部注意力区域相结合，该方法仅依赖图像语义信息，无需标签依赖关系，即在三个基准数据集上实现了最先进性能。

ABSTRACT

Multi-label image recognition is a practical and challenging task compared to single-label image classification. However, previous works may be suboptimal because of a great number of object proposals or complex attentional region generation modules. In this paper, we propose a simple but efficient two-stream framework to recognize multi-category objects from global image to local regions, similar to how human beings perceive objects. To bridge the gap between global and local streams, we propose a multi-class attentional region module which aims to make the number of attentional regions as small as possible and keep the diversity of these regions as high as possible. Our method can efficiently and effectively recognize multi-class objects with an affordable computation cost and a parameter-free region localization module. Over three benchmarks on multi-label image classification, we create new state-of-the-art results with a single model only using image semantics without label dependency. In addition, the effectiveness of the proposed method is extensively demonstrated under different factors such as global pooling strategy, input size and network architecture.

研究动机与目标

• 解决现有多标签图像识别方法依赖大量目标提议或复杂注意力模块所导致的效率低下与复杂性问题。
• 在保持多样性的同时减少注意力区域的数量，以提升识别准确率。
• 开发一种无参数的区域定位机制，以最小化计算成本。
• 在不依赖标签依赖关系的前提下，实现多标签图像分类的最先进性能。
• 评估该方法在不同全局池化策略、输入尺寸和网络架构下的鲁棒性与有效性。

提出的方法

• 该框架采用两流架构：一路处理全局图像以获取整体语义信息，另一路专注于局部注意力区域。
• 多类别注意力区域模块通过平衡区域数量与多样性，动态识别最相关的区域。
• 该模块不包含可学习参数，因此计算效率高且易于集成。
• 注意力区域基于类别特定激活生成，确保与多个物体类别相关。
• 通过融合全局与局部特征，实现对多个标签的联合预测。
• 该方法可端到端训练，无需后处理或标签依赖建模。

实验结果

研究问题

• RQ1 无参数的注意力区域模块是否能有效减少冗余，同时在多标签图像识别中保持多样性？
• RQ2 所提出的两流框架在准确率与计算效率方面与现有方法相比如何？
• RQ3 该方法在不同全局池化策略、输入分辨率和主干网络架构上的泛化能力如何？
• RQ4 不建模标签依赖关系是否会影响其在多标签基准上的性能？
• RQ5 仅依赖图像语义信息与极少数注意力区域，该方法是否能实现最先进性能？

主要发现

• 所提方法在三个多标签图像分类基准上使用单一模型实现了新的最先进性能。
• 与先前方法相比，该方法在显著减少注意力区域数量的同时保持了高准确率，有效降低了冗余。
• 无参数区域定位模块显著降低了计算成本，实现了快速推理。
• 该框架在不同全局池化策略、输入尺寸和网络架构上表现出强大的泛化能力。
• 未建模标签依赖关系并未降低性能，证实了该方法完全依赖于图像语义信息。
• 多类别注意力区域模块有效平衡了区域数量与多样性，从而提升了对多个物体类别的识别能力。