[论文解读] An Out-of-the-box Full-network Embedding for Convolutional Neural Networks

Dario García-Gasulla, Armand Vilalta+6 more|arXiv (Cornell University)|May 22, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用 7

一句话总结

本文提出了一种用于卷积神经网络的全网络嵌入方法，该方法整合了预训练CNN所有层的归一化和离散化特征，在显著提升分类准确率和鲁棒性的同时，降低了计算成本。该方法在多个图像分类基准上实现了最先进性能，尤其在预训练模型表现不佳或数据稀缺的情况下表现更优。

ABSTRACT

Transfer learning for feature extraction can be used to exploit deep representations in contexts where there is very few training data, where there are limited computational resources, or when tuning the hyper-parameters needed for training is not an option. While previous contributions to feature extraction propose embeddings based on a single layer of the network, in this paper we propose a full-network embedding which successfully integrates convolutional and fully connected features, coming from all layers of a deep convolutional neural network. To do so, the embedding normalizes features in the context of the problem, and discretizes their values to reduce noise and regularize the embedding space. Significantly, this also reduces the computational cost of processing the resultant representations. The proposed method is shown to outperform single layer embeddings on several image classification tasks, while also being more robust to the choice of the pre-trained model used for obtaining the initial features. The performance gap in classification accuracy between thoroughly tuned solutions and the full-network embedding is also reduced, which makes of the proposed approach a competitive solution for a large set of applications.

研究动机与目标

• 开发一种即插即用的特征提取方法，利用预训练CNN所有层的表征，避免超参数调优或微调的需要。
• 通过整合网络所有层的特征，提升对不恰当或次优预训练模型的鲁棒性。
• 通过离散化特征值，在保留表征能力的同时降低下游学习的计算成本。
• 在用户专业知识或计算资源极少的情况下，实现图像分类任务的高性能。
• 缩小全调优模型与简单、即插即用特征提取方案之间的性能差距。

提出的方法

• 该方法为每个输入图像计算预训练CNN所有层（卷积层和全连接层）的激活值。
• 使用z得分标准化对每层特征进行归一化，使其具有上下文依赖性和问题自适应性。
• 将特征值离散化为三个区间：{-1, 0, 1}，以减少噪声并正则化嵌入空间。
• 离散化过程全局应用于所有层，保持原始嵌入维度不变。
• 最终嵌入将所有层的归一化和离散化特征拼接为单一高维向量。
• 下游分类使用SVM进行，由于离散化带来的稀疏性，训练速度显著加快。

实验结果

研究问题

• RQ1 与单层嵌入相比，整合预训练CNN所有层的特征是否能提升特征提取性能？
• RQ2 在使用次优预训练模型时，特征归一化和离散化是否能增强鲁棒性？
• RQ3 所提出的全网络嵌入在下游学习中能在多大程度上降低计算成本？
• RQ4 在分类准确率方面，全网络嵌入与彻底调优的模型相比表现如何？
• RQ5 尽管降低了特征分辨率，该离散化策略是否仍能保持或增强表征质量？

主要发现

• 全网络嵌入在9个数据集上的全局平均准确率达到81.5%，优于基线单层嵌入（78.7%）和{-v,0,v}离散化变体（80.0%）。
• 在wood数据集上，全网络嵌入达到86.2%的准确率，是所有评估方法中报告的最佳结果。
• 当使用不合适的预训练模型（如用ImageNet预训练模型处理mit67数据集）时，全网络嵌入的平均性能下降仅为13.6%，而基线方法下降21.2%，表明其具有更优的鲁棒性。
• 由于离散化带来的稀疏性，全网络嵌入使SVM训练速度比非离散化全网络变体快20至100倍。
• 即使使用VGG19而非VGG16，该方法仍保持高性能，最大性能差异仅为0.3%，表明其对网络深度不敏感。
• 全网络嵌入缩小了即插即用方案与彻底调优模型之间的性能差距，使其在资源有限或缺乏专家知识的场景下成为具有竞争力的替代方案。