[论文解读] From Generic to Specific Deep Representations for Visual Recognition

Hossein Azizpour, Ali Sharif Razavian+3 more|arXiv (Cornell University)|Jun 22, 2014

Domain Adaptation and Few-Shot Learning被引用 20

一句话总结

本文研究了CNN为何在视觉识别中表现优异，以及如何针对特定任务优化其表征。通过分析架构、训练和微调过程，研究发现：增加表征的专用性可提升特定任务的性能，但会损害泛化能力；而初始通用性更高的预训练网络在微调时收益最大。本研究生成了当前最先进的深度CNN表征，当与线性SVM结合时，在12个标准视觉识别基准上均取得最优性能。

ABSTRACT

Evidence is mounting that CNNs are currently the most efficient and successful way to learn visual representations. This paper address the questions on why CNN representations are so effective and how to improve them if one wants to maximize performance for a single task or a range of tasks. We assess experimentally the importance of different aspects of learning and choosing a CNN representation to its performance on a diverse set of visual recognition tasks. In particular, we investigate how altering the parameters in a network’s architecture and its training impacts the representation’s ability to specialize and generalize. We also study the effect of fine-tuning a generic network towards a particular task. Extensive exper-iments indicate the trends; (a) increasing specialization increases performance on the target task but can hurt the ability to generalize to other tasks and (b) the less specialized the original network the more likely it is to benefit from fine-tuning. As by-products we have learnt several deep CNN image representations which when combined with a simple linear SVM classifier or similarity measure pro-duce the best performance on 12 standard datasets measuring the ability to solve visual recognition tasks ranging from image classification to image retrieval. 1

研究动机与目标

• 理解CNN为何在学习视觉表征方面如此有效。
• 研究架构选择和训练过程如何影响表征的专用化与泛化能力。
• 确定在何种条件下微调通用预训练网络能提升特定任务的性能。
• 识别出能最大化多样视觉识别任务性能的最优深度CNN表征。
• 为单任务或多任务场景下选择和调整CNN表征提供实用洞见。

提出的方法

• 通过广泛范围的视觉识别任务，系统评估网络架构和训练对学习表征的影响。
• 通过改变网络设计和训练协议，在多个数据集上测量性能，评估专用化与泛化之间的权衡。
• 在特定任务上对通用预训练CNN进行微调，分析其对性能和表征适应性的影响。
• 使用标准训练过程和超参数，训练并评估具有不同专用化程度的深度CNN。
• 将表现最佳的表征与简单的线性SVM或相似性度量结合，用于最终的分类和检索任务。
• 通过在12个标准数据集上进行大量实验，验证所提表征的有效性。

实验结果

研究问题

• RQ1 提升CNN表征的专用化程度，如何影响其在目标视觉识别任务上的性能？
• RQ2 专用化在多大程度上会损害表征在不同视觉识别任务间泛化的能力？
• RQ3 预训练CNN的初始专用化程度，如何影响其在特定任务上微调后的性能增益？
• RQ4 哪些架构和训练选择能产生最有效的视觉识别深度CNN表征？
• RQ5 当与线性分类器结合时，单一且精心选择的表征是否能在多样化的视觉识别任务中实现最先进性能？

主要发现

• 提升CNN表征的专用化程度可提高目标任务的性能，但会以降低在其他任务上的泛化能力为代价。
• 初始专用化程度较低的预训练网络在微调特定任务时，性能提升更为显著。
• 所提出的深度CNN表征与线性SVM结合后，在12个标准视觉识别数据集上均达到最佳性能。
• 研究发现明确趋势：初始表征越通用，微调在将其适配到特定任务时的效果越显著。
• 大量实验证实，架构和训练选择显著影响CNN表征中专用化与泛化能力之间的平衡。
• 通过同时优化任务特定性能和可适应性，本研究生成了一组在视觉识别任务中极为高效的深度表征。