[论文解读] Fully Convolutional Attention Localization Networks: Efficient Attention Localization for Fine-Grained Recognition

Xiao Liu, Tian Xia+2 more|arXiv (Cornell University)|Mar 22, 2016

Advanced Neural Network Applications被引用 81

一句话总结

本文提出了一种基于完全卷积强化学习的注意力网络，可自适应地定位多个判别性区域，用于细粒度识别。通过采用完全卷积架构，该方法在斯坦福狗、斯坦福汽车和CUB-200-2011数据集上的计算效率更优，且准确率更高，优于先前的方法。

ABSTRACT

Fine-grained recognition is challenging mainly because the inter-class differences between fine-grained classes are usually local and subtle while intra-class differences could be large due to pose variations. In order to distinguish them from intra-class variations, it is essential to zoom in on highly discriminative local regions. In this work, we introduce a reinforcement learning-based fully convolutional attention localization network to adaptively select multiple task-driven visual attention regions. We show that zooming in on the selected attention regions significantly improves the performance of fine-grained recognition. Compared to previous reinforcement learning-based models, the proposed approach is noticeably more computationally efficient during both training and testing because of its fully-convolutional architecture, and it is capable of simultaneous focusing its glimpse on multiple visual attention regions. The experiments demonstrate that the proposed method achieves notably higher classification accuracy on three benchmark fine-grained recognition datasets: Stanford Dogs, Stanford Cars, and CUB-200-2011.

研究动机与目标

• 为解决在细微局部差异和大类内差异下区分细粒度类别所带来的挑战。
• 开发一种方法，自适应地选择多个任务驱动的视觉注意力区域，以提升识别性能。
• 与现有基于强化学习的注意力模型相比，提升训练和推理过程中的计算效率。
• 通过全卷积设计实现在不牺牲效率的前提下，同时聚焦于多个判别性局部区域。

提出的方法

• 该模型采用强化学习框架，以端到端可训练的方式指导视觉注意力区域的选择。
• 采用全卷积架构，以实现对整个输入图像的高效空间特征提取和注意力定位。
• 智能体通过策略梯度学习关注多个判别性局部区域，以优化分类准确率。
• 注意力区域基于与任务相关的特征动态选择，从而自适应地聚焦于细微的、具有类别判别性的部分。
• 网络通过基于分类性能的奖励信号，使用策略梯度强化学习进行端到端训练。

实验结果

研究问题

• RQ1 全卷积强化学习模型能否有效定位多个判别性区域以实现细粒度识别？
• RQ2 与先前基于强化学习的注意力模型相比，所提出方法在计算效率方面有何提升？
• RQ3 自适应注意力定位在标准细粒度基准上的分类准确率提升程度如何？
• RQ4 该模型能否在不牺牲效率的前提下，同时聚焦于多个相关局部区域？

主要发现

• 在斯坦福狗、斯坦福汽车和CUB-200-2011数据集上，所提方法的分类准确率显著高于先前方法。
• 全卷积设计使训练和推理速度相比先前基于强化学习的模型显著提升。
• 该模型可在单次前向传播中成功定位多个判别性区域，从而改善细粒度类别的特征表示。
• 注意力机制有效减少了无关图像区域的干扰，增强了模型对姿态变化的鲁棒性。