[论文解读] Bilinear CNNs for Fine-grained Visual Recognition

Tsung‐Yu Lin, Aruni RoyChowdhury+1 more|arXiv (Cornell University)|Apr 29, 2015

Advanced Neural Network Applications参考文献 58被引用 66

一句话总结

本文提出双线性卷积神经网络（B-CNNs），一种深度学习架构，通过计算两个CNN分支特征的池化外积，以平移不变方式建模局部特征交互，实现细粒度视觉识别。该方法在多个细粒度数据集上达到最先进性能——CUB-200-2011数据集上准确率达84.1%，NABirds数据集上为79.4%，FGVC Aircraft数据集上为86.9%，Stanford Cars数据集上为91.3%，且在单张GPU上运行速度达30 FPS，可从零开始端到端训练，相较基线模型持续获得性能提升。

ABSTRACT

We present a simple and effective architecture for fine-grained visual recognition called Bilinear Convolutional Neural Networks (B-CNNs). These networks represent an image as a pooled outer product of features derived from two CNNs and capture localized feature interactions in a translationally invariant manner. B-CNNs belong to the class of orderless texture representations but unlike prior work they can be trained in an end-to-end manner. Our most accurate model obtains 84.1%, 79.4%, 86.9% and 91.3% per-image accuracy on the Caltech-UCSD birds [67], NABirds [64], FGVC aircraft [42], and Stanford cars [33] dataset respectively and runs at 30 frames-per-second on a NVIDIA Titan X GPU. We then present a systematic analysis of these networks and show that (1) the bilinear features are highly redundant and can be reduced by an order of magnitude in size without significant loss in accuracy, (2) are also effective for other image classification tasks such as texture and scene recognition, and (3) can be trained from scratch on the ImageNet dataset offering consistent improvements over the baseline architecture. Finally, we present visualizations of these models on various datasets using top activations of neural units and gradient-based inversion techniques. The source code for the complete system is available at http://vis-www.cs.umass.edu/bcnn.

研究动机与目标

• 开发一种深度学习架构，以平移不变方式捕捉局部特征交互，用于细粒度视觉识别。
• 实现双线性表征的端到端训练，克服先前不可微的纹理特征的局限性。
• 证明双线性特征在细粒度识别之外的应用效果，包括纹理与场景分类任务。
• 分析双线性特征的降维效果，表明在极小精度损失下可实现显著压缩。
• 通过基于梯度的反演可视化学习到的特征，揭示模型如何编码类别特异性纹理与模式。

提出的方法

• B-CNN架构计算两个CNN特征图的池化外积，生成固定大小、高维的表征，捕捉二阶统计特性。
• 双线性层通过分离CNN塔的两个特征图的外积实现，随后进行空间池化，生成紧凑描述符。
• 模型使用标准反向传播进行端到端训练，实现特征提取器与双线性层的联合优化。
• 通过随机投影或主成分分析（PCA）实现降维，特征尺寸可压缩至原大小的1/10，精度损失极小。
• 基于梯度的反演用于可视化激活最强的模式，通过优化输入图像以最大化双线性特征空间中的类别得分。
• 该框架应用于基于VGG-D的网络，在多个ReLU层（relu2_2至relu5_3）进行优化，实现多尺度可视化。

实验结果

研究问题

• RQ1 从深度CNN特征中提取的双线性表征是否能在细粒度视觉识别中实现最先进性能？
• RQ2 双线性特征是否可实现端到端训练，支持从零开始训练与领域特定微调？
• RQ3 双线性特征在非细粒度任务（如纹理与场景识别）中的有效性如何？
• RQ4 双线性特征在多大程度上可被压缩而保持精度损失最小？
• RQ5 B-CNN中学习到的单元如何对应于物体的局部判别性属性？

主要发现

• B-CNN模型在CUB-200-2011数据集上达到84.1%的图像级准确率，超越先前方法，包括使用部件级监督的方法。
• 在NABirds数据集上，模型准确率达79.4%，表明其在细粒度鸟类物种识别任务中表现强劲。
• 模型在FGVC Aircraft数据集上取得86.9%的准确率，在Stanford Cars数据集上达到91.3%，证实其在多种细粒度基准上的广泛有效性。
• 双线性特征高度冗余，可在大多数数据集上压缩达一个数量级，精度损失低于1%。
• 模型可在ImageNet上从零开始训练，并持续优于基线CNN，表明其具备强大泛化能力与适应性。
• 基于梯度的可视化显示，B-CNN单元编码了局部、类别特异的纹理——例如在DTD数据集中对“点状”特征编码为多尺度点，或对鸟类物种编码为独特羽毛图案——证实其可解释性。