[论文解读] Fine-Grained Recognition with Automatic and Efficient Part Attention

Xiao Liu, Tian Xia+4 more|arXiv (Cornell University)|Mar 22, 2016

Domain Adaptation and Few-Shot Learning被引用 1

一句话总结

本文提出全卷积注意力网络（FCANs），一种弱监督强化学习框架，可在无需昂贵部件标注的情况下自动定位细粒度图像中的判别性局部区域。全卷积架构支持快速训练与推理，而贪婪奖励策略则加速了学习收敛，在四个主流细粒度识别基准上实现了最先进性能。

ABSTRACT

Fine-grained recognition is challenging due to its subtle local inter-class differences versus large intra-class variations such as poses. A key to address this problem is to localize discriminative parts to extract pose-invariant features. However, ground-truth part annotations can be expensive to acquire. Moreover, it is hard to define parts for many fine-grained classes. This work introduces Fully Convolutional Attention Networks (FCANs), a reinforcement learning framework to optimally glimpse local discriminative regions adaptive to different fine-grained domains. Compared to previous methods, our approach enjoys three advantages: 1) the weakly-supervised reinforcement learning procedure requires no expensive part annotations; 2) the fully-convolutional architecture speeds up both training and testing; 3) the greedy reward strategy accelerates the convergence of the learning. We demonstrate the effectiveness of our method with extensive experiments on four challenging fine-grained benchmark datasets, including CUB-200-2011, Stanford Dogs, Stanford Cars and Food-101.

研究动机与目标

• 解决细粒度识别面临的挑战，该挑战源于类间差异细微以及类内变化大（如姿态变化）。
• 克服为多样化细粒度类别获取真实部件标注的高成本与高难度。
• 开发一种方法，自动发现适应不同细粒度领域、无需人工部件监督的判别性局部区域。
• 通过全卷积网络设计实现高效训练与推理。
• 在强化学习框架中采用贪婪奖励策略，加速学习收敛。

提出的方法

• 采用弱监督强化学习框架，仅使用图像级别标签训练智能体关注判别性局部区域。
• 设计全卷积网络架构，实现端到端训练与高效推理，避免使用区域提议网络。
• 采用基于策略梯度的强化学习目标，优化注意力策略以选择局部区域。
• 实施贪婪奖励策略，提供密集、稀疏且渐进式的反馈，以加速策略收敛。
• 训练智能体生成空间注意力图，突出显示判别性部件，随后用于提取姿态不变特征。
• 将注意力图与分类头结合，利用关注的特征生成最终预测。

实验结果

研究问题

• RQ1 弱监督强化学习框架是否能在无需部件标注的情况下有效定位细粒度图像中的判别性部件？
• RQ2 与以往部件定位方法相比，FCANs的全卷积设计在训练与推理效率方面有何提升？
• RQ3 贪婪奖励策略在多大程度上加速了强化学习智能体的学习收敛？
• RQ4 FCAN在具有不同类内变化水平的多样化细粒度识别基准上的表现如何？
• RQ5 自动发现的注意力区域是否能在不同细粒度类别和数据集之间实现良好泛化？

主要发现

• FCANs在四个具有挑战性的细粒度识别基准（CUB-200-2011、Stanford Dogs、Stanford Cars 和 Food-101）上达到最先进性能。
• 该方法通过仅依赖训练期间的图像级别标签，显著减少了对昂贵部件标注的需求。
• 全卷积设计相比使用区域提议网络的先前方法，实现了更快的训练与推理速度。
• 贪婪奖励策略显著加速了强化学习策略的收敛，缩短了训练时间。
• 自动发现的注意力区域具有判别性，并在多样化细粒度类别中表现出良好泛化能力。
• 该模型在所有四个基准数据集上均取得高准确率，证明了其对姿态与外观变化的鲁棒性。