[论文解读] Do Better ImageNet Models Transfer Better?

Simon Kornblith, Jonathon Shlens+1 more|arXiv (Cornell University)|May 23, 2018

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文研究了性能更优的ImageNet模型是否能更有效地迁移到其他视觉任务。基于12个数据集上的16种CNN架构，研究发现：在使用固定特征时，ImageNet准确率与迁移性能之间存在极强的相关性（r=0.99），但同时也表明，提升ImageNet准确率的正则化技术可能损害特征的可迁移性。研究揭示，ImageNet特征的泛化能力实际上低于以往假设，尤其在细粒度数据集上，微调带来的收益与随机初始化相比微乎其微。

ABSTRACT

Transfer learning is a cornerstone of computer vision, yet little work has been done to evaluate the relationship between architecture and transfer. An implicit hypothesis in modern computer vision research is that models that perform better on ImageNet necessarily perform better on other vision tasks. However, this hypothesis has never been systematically tested. Here, we compare the performance of 16 classification networks on 12 image classification datasets. We find that, when networks are used as fixed feature extractors or fine-tuned, there is a strong correlation between ImageNet accuracy and transfer accuracy ($r = 0.99$ and $0.96$, respectively). In the former setting, we find that this relationship is very sensitive to the way in which networks are trained on ImageNet; many common forms of regularization slightly improve ImageNet accuracy but yield penultimate layer features that are much worse for transfer learning. Additionally, we find that, on two small fine-grained image classification datasets, pretraining on ImageNet provides minimal benefits, indicating the learned features from ImageNet do not transfer well to fine-grained tasks. Together, our results show that ImageNet architectures generalize well across datasets, but ImageNet features are less general than previously suggested.

研究动机与目标

• 检验广泛持有的假设：即性能更优的ImageNet模型在其他视觉任务上具有更好的泛化能力。
• 评估ImageNet上架构改进与正则化对迁移学习性能的影响。
• 探究从ImageNet预训练权重微调是否在各类数据集（尤其是细粒度数据集）上均能提供一致的性能增益。
• 评估ImageNet特征在ImageNet分布之外的泛化能力。

提出的方法

• 作者在ImageNet上训练并评估了16种现代CNN架构，随后将这些模型作为固定特征提取器，应用于12个下游图像分类数据集。
• 在12个下游数据集上对同一组ImageNet预训练网络进行微调，以比较不同设置下的迁移性能。
• 通过在倒数第二层特征上使用线性分类与完整网络微调，测量各数据集上的准确率，比较迁移性能。
• 分析不同正则化技术（如dropout、权重衰减）对ImageNet准确率与下游迁移性能的影响。
• 使用logit变换与皮尔逊相关系数（Pearson r）量化ImageNet准确率与迁移准确率之间的关系。
• 在两个小规模细粒度数据集（Birdsnap、Flowers）上评估性能，以测试在低数据量、高类内差异场景下的可迁移性。

实验结果

研究问题

• RQ1 当使用固定特征时，ImageNet top-1准确率与迁移性能之间是否存在强相关性？
• RQ2 通过正则化技术提升ImageNet准确率是否能增强倒数第二层特征的可迁移性？
• RQ3 与随机初始化相比，从ImageNet预训练权重微调在下游任务上的性能提升程度如何？
• RQ4 ImageNet特征在具有高类内差异的细粒度图像分类任务中，其迁移能力如何？
• RQ5 即使特征迁移效果不佳，性能更优的ImageNet架构是否仍能在下游任务上优于性能较弱的模型？

主要发现

• 在12个数据集上使用固定倒数第二层特征时，ImageNet top-1准确率与迁移准确率之间存在极强的相关性（r=0.99）。
• 虽能略微提升ImageNet准确率（如dropout、权重衰减），但正则化技术通常会降低特征在迁移学习中的质量，表明ImageNet性能与迁移性能之间存在权衡。
• 在标准微调设置下，从ImageNet初始化微调后，ImageNet准确率与下游迁移准确率之间仍保持高度相关性（r=0.96），验证了研究假设。
• 在两个细粒度分类数据集（Birdsnap与Flowers）上，从ImageNet微调带来的性能增益与随机初始化相比微乎其微，表明特征在细粒度任务上的迁移能力较差。
• 即使特征迁移效果不佳，性能更优的ImageNet架构在下游任务上仍能取得更高准确率，表明模型架构容量本身对性能有独立贡献。
• 本研究表明，尽管ImageNet模型在广泛视觉任务上泛化良好，但其特征的泛化能力实际上低于以往预期，尤其在细粒度识别任务中更为明显。