[论文解读] Impostor Networks for Fast Fine-Grained Recognition

Vadim Lebedev, Artem Babenko+1 more|arXiv (Cornell University)|Jun 13, 2018

Advanced Neural Network Applications参考文献 25被引用 3

一句话总结

本文提出了一种轻量级深度学习架构——赝像网络（impostor networks），通过将紧凑的卷积神经网络（如 SqueezeNet）与可学习的、非参数化的径向基函数（RBF）分类器相结合，实现在仅CPU和低功耗平台上的高精度细粒度图像识别。通过联合训练特征提取器与RBF分类器——其中RBF中心（赝像）并非固定于训练样本，而是在训练过程中动态演化——该方法在计算开销极小的情况下显著提升了基线网络的准确率。

ABSTRACT

In this work we introduce impostor networks, an architecture that allows to perform fine-grained recognition with high accuracy and using a light-weight convolutional network, making it particularly suitable for fine-grained applications on low-power and non-GPU enabled platforms. Impostor networks compensate for the lightness of its `backend' network by combining it with a lightweight non-parametric classifier. The combination of a convolutional network and such non-parametric classifier is trained in an end-to-end fashion. Similarly to convolutional neural networks, impostor networks can fit large-scale training datasets very well, while also being able to generalize to new data points. At the same time, the bulk of computations within impostor networks happen through nearest neighbor search in high-dimensions. Such search can be performed efficiently on a variety of architectures including standard CPUs, where deep convolutional networks are inefficient. In a series of experiments with three fine-grained datasets, we show that impostor networks are able to boost the classification accuracy of a moderate-sized convolutional network considerably at a very small computational cost.

研究动机与目标

• 解决在移动设备等低功耗、无GPU平台部署高精度细粒度图像分类器的挑战。
• 在保持或提升分类准确率的同时，减轻最先进深度网络的计算与模型尺寸负担。
• 探索使用可学习的非参数化分类器（RBF）以弥补轻量级CNN表示能力有限的问题。
• 通过允许RBF中心（赝像）在训练过程中偏离训练样本，提升泛化能力与开放集检测性能。
• 证明端到端联合训练CNN与RBF分类器，即使在小型高效网络上也能实现优异性能。

提出的方法

• 提出一种混合架构：轻量级卷积网络（如 SqueezeNet）后接具有非固定中心的可学习RBF分类器。
• 使用包含交叉熵损失与类似邻域成分分析（NCA）项的损失函数，对整个系统进行端到端训练，以增强类内紧凑性。
• 允许RBF中心（赝像）作为可学习参数，不与任何特定训练样本绑定，从而在优化过程中实现漂移。
• 以高维CNN特征作为RBF分类器的输入，通过基于L2距离到赝像中心的加权投票实现分类。
• 实现三种训练变体：固定赝像（初始化为训练特征）、松散赝像（可学习并更新）以及混合方法。
• 应用标准模型压缩技术（如剪枝、量化）以减少内存开销，且不造成显著准确率下降。

实验结果

研究问题

• RQ1 轻量级CNN与可学习非参数化分类器（RBF）的结合是否能在低功耗硬件上实现高精度细粒度识别？
• RQ2 与将RBF中心（赝像）固定于训练样本相比，允许其在训练过程中演化是否能提升泛化能力与准确率？
• RQ3 在测试时存在未知类别的开放集识别场景下，赝像网络的表现如何？
• RQ4 与标准CNN相比，赝像网络的计算与内存开销如何？是否可通过压缩进一步降低？
• RQ5 该方法在细粒度数据集上，对SqueezeNet等小型网络的性能提升程度有多大？

主要发现

• 赝像网络显著提升了中等规模CNN（如 SqueezeNet）在CUB-200-2011和Stanford Cars等细粒度数据集上的分类准确率，且计算成本极低。
• 松散赝像变体（RBF中心端到端训练）达到最高准确率，证明可学习的非固定赝像能有效提升泛化能力。
• 在CUB-200-2011数据集上，使用SqueezeNet的赝像网络远超标准交叉熵基线模型，甚至在准确率上超越部分更深的模型，同时运行速度更快。
• 该方法提升了开放集识别性能：赝像网络对未见类别（如非鸟类图像）表现出更高的熵（更低置信度），表明其不确定性估计优于标准CNN。
• 赝像网络的内存开销极小，且可通过模型压缩技术（如剪枝、量化）进一步降低，而准确率损失可忽略不计。
• 该方法支持在CPU上高效推理，适用于移动设备与边缘部署，而深度模型通常需要GPU加速。