[论文解读] An analysis of the transfer learning of convolutional neural networks for artistic images

Nicolas Gonthier, Yann Gousseau+1 more|arXiv (Cornell University)|Nov 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 16

一句话总结

本文研究了在艺术图像数据集上微调时，迁移学习如何改变预训练的卷积神经网络（CNNs）。通过在特征空间和参数空间中使用特征可视化与定量度量，研究发现：在目标小数据集之前，先在中等规模的艺术数据集（RASTA）上进行微调，可显著提升分类性能，即使任务不同，原因在于滤波器更好地适应以及高层特征中类别集中度提高。

ABSTRACT

Transfer learning from huge natural image datasets, fine-tuning of deep neural networks and the use of the corresponding pre-trained networks have become de facto the core of art analysis applications. Nevertheless, the effects of transfer learning are still poorly understood. In this paper, we first use techniques for visualizing the network internal representations in order to provide clues to the understanding of what the network has learned on artistic images. Then, we provide a quantitative analysis of the changes introduced by the learning process thanks to metrics in both the feature and parameter spaces, as well as metrics computed on the set of maximal activation images. These analyses are performed on several variations of the transfer learning procedure. In particular, we observed that the network could specialize some pre-trained filters to the new image modality and also that higher layers tend to concentrate classes. Finally, we have shown that a double fine-tuning involving a medium-size artistic dataset can improve the classification on smaller datasets, even when the task changes.

研究动机与目标

• 理解预训练CNN如何通过迁移学习适应艺术图像数据集。
• 研究微调对网络表征的影响，特别是特征空间和参数空间中的变化。
• 评估在中等规模艺术数据集上进行中间微调是否能提升在较小下游艺术分类任务上的性能。
• 使用可视化与定量度量分析微调过程中滤波器与特征激活的结构性变化。

提出的方法

• 应用特征可视化技术，以解释CNN在艺术图像上学习到的内部表征。
• 使用线性中心化核对齐（CKA）和ℓ₂距离，量化微调过程中特征空间与参数空间的变化。
• 计算最大激活图像集合的重叠率与熵，以评估滤波器专业化程度与结构性变化。
• 比较多种微调策略：直接在小数据集上微调、通过中间艺术数据集（RASTA）进行微调，以及从头训练。
• 在两个艺术数据集上评估性能：Paintings（物体分类）与IconArt（图像志分类）。
• 使用InceptionV1架构训练并比较不同初始化与微调策略的模型。

实验结果

研究问题

• RQ1 当在艺术图像数据集上微调时，预训练CNN的内部表征如何变化？
• RQ2 在中等规模艺术数据集（RASTA）上微调在多大程度上能提升在较小下游艺术分类任务上的性能？
• RQ3 在艺术图像上微调时，网络低层与高层的滤波器是否以不同方式实现专业化？
• RQ4 CKA与ℓ₂范数等定量度量在艺术图像迁移学习背景下，如何反映适应程度？

主要发现

• 在目标小数据集之前，先在中等规模艺术数据集（RASTA）上微调，显著提升了分类性能，在IconArt数据集上达到67.4%的平均精确率，Paintings数据集上达到65.6%。
• 双重微调策略（先RASTA，再目标数据集）性能最高，优于直接微调与使用预训练特征的方法。
• 微调后，网络高层表现出类别集中，表明特征学习更具判别性。
• 部分预训练滤波器专门适应艺术模态，而新出现的、高度结构化的滤波器则在微调过程中从零开始学习。
• 双重微调后，最终模型与ImageNet预训练模型之间的CKA相似度降至0.73（IconArt）与0.76（Paintings），表明存在显著的结构适应。
• 在RASTA上从头训练的模型性能较差（分别为49.1%与50.1%），且劣于从ImageNet初始化的模型，表明仅靠RASTA不足以提供良好初始化。