[论文解读] Attention for Fine-Grained Categorization

Pierre Sermanet, Andrea Frome+1 more|arXiv (Cornell University)|Dec 22, 2014

Domain Adaptation and Few-Shot Learning参考文献 23被引用 119

一句话总结

本文提出一种端到端可训练的循环神经网络视觉注意力模型，用于斯坦福狗数据集上的细粒度分类，通过学习聚焦于面部和毛发图案等判别区域（无需边界框监督），实现了76.8%的平均准确率，超越了当时的最先进模型GoogLeNet。

ABSTRACT

This paper presents experiments extending the work of Ba et al. (2014) on recurrent neural models for attention into less constrained visual environments, specifically fine-grained categorization on the Stanford Dogs data set. In this work we use an RNN of the same structure but substitute a more powerful visual network and perform large-scale pre-training of the visual network outside of the attention RNN. Most work in attention models to date focuses on tasks with toy or more constrained visual environments, whereas we present results for fine-grained categorization better than the state-of-the-art GoogLeNet classification model. We show that our model learns to direct high resolution attention to the most discriminative regions without any spatial supervision such as bounding boxes, and it is able to discriminate fine-grained dog breeds moderately well even when given only an initial low-resolution context image and narrow, inexpensive glimpses at faces and fur patterns. This and similar attention models have the major advantage of being trained end-to-end, as opposed to other current detection and recognition pipelines with hand-engineered components where information is lost. While our model is state-of-the-art, further work is needed to fully leverage the sequential input.

研究动机与目标

• 将基于循环神经网络的注意力模型扩展至复杂、非受限的视觉环境，如细粒度分类任务。
• 解决在杂乱背景、遮挡和姿态变化下对视觉相似犬种进行分类的挑战。
• 通过端到端的统一架构学习空间注意力，消除对手动标注边界框的依赖。
• 评估注意力机制是否能在保持计算效率的同时，超越传统模型（如GoogLeNet）的性能。
• 探究模型在无显式空间监督的情况下，通过一系列连续视觉瞥见学习有意义且具有判别性的视觉特征的能力。

提出的方法

• 采用与Ba等人（2014）相似的循环神经网络（RNN）架构，其中RNN生成对输入图像的多个视觉瞥见序列。
• 使用强大且大规模预训练的卷积神经网络（视觉主干）从每个瞥见中提取特征，与RNN解耦，以提升特征学习效果。
• 采用瞥见选择机制，通过回归式输出预测下一个高分辨率图像块的空间坐标（x, y）和尺度。
• 使用反向传播对整个系统进行端到端训练，使网络能够联合学习特征提取与注意力协调。
• 在训练过程中应用数据增强（镜像、亮度调整、色彩抖动）以提升鲁棒性与泛化能力。
• 在RNN的最终步骤使用Softmax分类器，为120种犬种生成N分类得分。

实验结果

研究问题

• RQ1 端到端可训练的注意力机制是否能在细粒度分类任务中超越非注意力机制的最先进模型（如GoogLeNet）？
• RQ2 该模型是否能在无任何边界框或空间监督的情况下，学会关注判别性部位（如面部、毛发图案）？
• RQ3 瞥见的数量与分辨率如何影响性能？模型是否从多个连续瞥见中获益？
• RQ4 模型是否仅依赖低分辨率上下文图像与少量高分辨率瞥见即可实现高准确率？
• RQ5 当前基于RNN的注意力机制在捕捉瞥见之间长距离依赖关系方面存在哪些局限性？

主要发现

• 所提出的注意力模型在斯坦福狗数据集上使用三个瞥见时达到76.8%的平均准确率，超越了完整GoogLeNet模型的75.5%准确率。
• 即使仅使用一个瞥见且输入为低分辨率（96×96），模型准确率仍达70.3%，显著高于低分辨率GoogLeNet基线模型的58.8%。
• 该模型在无任何空间监督或边界框标注的情况下，学会聚焦于判别性区域，如面部和毛发图案。
• 增加瞥见数量带来的性能提升迅速衰减，从一个瞥见到三个瞥见仅提升0.5%，表明模型利用超过两到三个瞥见的能力有限。
• 仅使用高分辨率瞥见的模型在三个瞥见下准确率仅为49.6%，表明将每个瞥见限制为高分辨率会限制信息增益，而多分辨率瞥见能提供更优性能。
• 该模型表现出一种病态倾向：倾向于关注图像中两只狗之间的中点位置，这可能是由于瞥见机制中采用回归式坐标预测所致。