[论文解读] Bilinear CNN Models for Fine-grained Visual Recognition

Tsung‐Yu Lin, Aruni RoyChowdhury+1 more|arXiv (Cornell University)|Apr 29, 2015

Advanced Neural Network Applications被引用 119

一句话总结

该论文提出双线性CNN模型，通过两个CNN特征图的外积池化捕获局部成对特征交互，实现平移不变的细粒度视觉识别。该方法仅使用类别标签和端到端训练，在CUB-200-2011数据集上达到84.1%的准确率，优于先前方法，且模型更简单高效，在Tesla K40上推理速度达8 FPS。

ABSTRACT

We propose bilinear models, a recognition architecture that consists of two feature extractors whose outputs are multiplied using outer product at each location of the image and pooled to obtain an image descriptor. This architecture can model local pairwise feature interactions in a translationally invariant manner which is particularly useful for fine-grained categorization. It also generalizes various orderless texture descriptors such as the Fisher vector, VLAD and O2P. We present experiments with bilinear models where the feature extractors are based on convolutional neural networks. The bilinear form simplifies gradient computation and allows end-to-end training of both networks using image labels only. Using networks initialized from the ImageNet dataset followed by domain specific fine-tuning we obtain 84.1% accuracy of the CUB-200-2011 dataset requiring only category labels at training time. We present experiments and visualizations that analyze the effects of fine-tuning and the choice two networks on the speed and accuracy of the models. Results show that the architecture compares favorably to the existing state of the art on a number of fine-grained datasets while being substantially simpler and easier to train. Moreover, our most accurate model is fairly efficient running at 8 frames/sec on a NVIDIA Tesla K40 GPU. The source code for the complete system will be made available at this http URL

研究动机与目标

• 通过以平移不变的方式建模局部成对特征交互，解决细粒度视觉识别的挑战。
• 在深度学习框架中，将现有的无序纹理描述符（如Fisher向量、VLAD和O2P）进行泛化。
• 通过使用双线性池化结合两个CNN，简化训练过程并提升细粒度分类的性能。
• 仅使用类别级别标签即可实现端到端训练，减少对复杂监督的依赖。
• 在计算效率高的架构下实现最先进准确率，适用于实时部署。

提出的方法

• 该模型使用两个CNN特征提取器，从同一张图像输入中生成特征图。
• 在每个空间位置，通过外积将两个网络的输出组合，形成高维张量。
• 通过平均池化对所得张量进行空间池化，生成固定长度的图像描述符。
• 双线性形式支持高效的梯度计算，允许通过两个网络进行端到端反向传播。
• 模型从ImageNet初始化，并在特定领域数据集上使用仅类别标签进行微调。
• 该架构通过学习判别性特征交互，泛化了Fisher向量和VLAD等无序描述符。

实验结果

研究问题

• RQ1 与标准CNN相比，双线性池化两个CNN特征是否能提升细粒度视觉识别的准确率？
• RQ2 在双线性模型中，选择两种不同网络架构如何影响性能和效率？
• RQ3 当仅使用类别标签时，领域特定微调在多大程度上能提升性能？
• RQ4 双线性模型是否能在深度学习框架中泛化传统无序编码方法（如VLAD和O2P）？
• RQ5 该双线性模型在推理速度和GPU利用率方面效率如何？

主要发现

• 该双线性模型在仅使用类别标签的情况下，在CUB-200-2011细粒度分类基准上达到84.1%的top-1准确率。
• 该模型在多个细粒度数据集上优于现有最先进方法，且模型更简单、更易训练。
• 最准确的模型在单个NVIDIA Tesla K40 GPU上以8帧每秒的速度运行，表明其具有出色的推理效率。
• 微调显著提升了性能，尤其在使用预训练的ImageNet模型作为初始化时效果更明显。
• 网络架构的选择会影响准确率和速度，在消融实验中观察到权衡关系。
• 双线性架构能有效在深度学习框架中泛化传统无序描述符（如Fisher向量和VLAD）。