[论文解读] Low-rank Bilinear Pooling for Fine-Grained Classification

Shu Kong, Charless C. Fowlkes|arXiv (Cornell University)|Nov 16, 2016

Domain Adaptation and Few-Shot Learning参考文献 31被引用 4

一句话总结

本文提出低秩双线性池化（LRBP），一种紧凑且高效的细粒度图像分类方法，通过使用Frobenius范数作为评分函数，用低秩双线性分类器替代显式的高维双线性特征计算。该模型在仅使用类别标签的基准数据集上实现了最先进性能，同时参数量比之前的方法小一到两个数量级。

ABSTRACT

Pooling second-order local feature statistics to form a high-dimensional bilinear feature has been shown to achieve state-of-the-art performance on a variety of fine-grained classification tasks. To address the computational demands of high feature dimensionality, we propose to represent the covariance features as a matrix and apply a low-rank bilinear classifier. The resulting classifier can be evaluated without explicitly computing the bilinear feature map which allows for a large reduction in the compute time as well as decreasing the effective number of parameters to be learned. To further compress the model, we propose classifier co-decomposition that factorizes the collection of bilinear classifiers into a common factor and compact per-class terms. The co-decomposition idea can be deployed through two convolutional layers and trained in an end-to-end architecture. We suggest a simple yet effective initialization that avoids explicitly first training and factorizing the larger bilinear classifiers. Through extensive experiments, we show that our model achieves state-of-the-art performance on several public datasets for fine-grained classification trained with only category labels. Importantly, our final model is an order of magnitude smaller than the recently proposed compact bilinear model, and three orders smaller than the standard bilinear CNN model.

研究动机与目标

• 解决标准双线性池化在细粒度分类中产生的高计算和内存开销问题，其会生成极高维的特征。
• 通过用低秩双线性分类器替代显式特征图计算，减少模型大小和推理时间，同时不损失准确性。
• 通过引入共分解技术，将每类分类器分解为共享和类别特定的组件，实现在内存受限设备上的高效训练和部署。
• 仅使用类别级监督实现最先进性能，消除对昂贵部件或关键点标注的需求。

提出的方法

• 将双线性特征图表示为协方差矩阵，并对双线性分类器施加低秩约束，以减少可学习参数数量。
• 使用投影特征的Frobenius范数作为分类得分，实现无需显式计算完整双线性特征向量的快速推理。
• 引入一种共分解方法，将联合分类器分解为共享低秩因子和紧凑的每类项，进一步压缩模型。
• 通过端到端可训练架构中的两层卷积层实现共分解，使用PCA进行初始化，避免单独预训练。
• 利用对称双线性形式，在保持结构信息的同时实现高效优化和参数共享。

实验结果

研究问题

• RQ1 低秩双线性分类器是否能在显著减小模型大小和推理成本的同时，实现与全双线性池化相当或更优的性能？
• RQ2 使用Frobenius范数作为评分函数是否能实现在不显式计算高维双线性特征情况下的高效推理？
• RQ3 对分类器参数进行共分解是否能进一步压缩模型，同时在细粒度分类中保持性能？
• RQ4 仅在类别标签上进行训练的模型是否能超越依赖部件或关键点标注的方法？

主要发现

• 所提出的LRBP模型在多个公开的细粒度分类基准（包括CUB-200-2011）上实现了最先进性能，且未使用任何部件或关键点标注。
• 最终模型的大小比紧凑双线性模型[8]小一到两个数量级，比标准双线性CNN[20]小三个数量级。
• 通过避免显式计算双线性特征，模型实现了快速推理，尤其在通道数超过空间分辨率时优势显著。
• 定性可视化显示，即使未使用显式空间注意力或部件监督，模型也能自然聚焦于鸟类的判别性部位，如红色翅膀或黄色头部。
• 通过PCA初始化后端到端微调的所提方法，避免了预训练需求，且在极少超参数调优下实现了强大性能。