[论文解读] Do Better ImageNet Models Transfer Better... for Image Recommendation?

Felipe del-Rio, Pablo Messina+2 more|arXiv (Cornell University)|Jul 25, 2018

Multimodal Machine Learning Applications参考文献 16被引用 6

一句话总结

本研究调查了在 ImageNet 上表现优异的模型是否能有效迁移至艺术图像推荐任务。基于 UGallery 真实艺术品数据集对 ResNet 进行微调，结果发现 ImageNet 准确率无法预测迁移性能——尽管 NASNet 的 ImageNet 分数较低，但其在推荐任务中的表现仍不如 ResNet。在目标数据集上进行深度微调可显著提升推荐性能，优于固定特征提取或浅层微调。

ABSTRACT

Visual embeddings from Convolutional Neural Networks (CNN) trained on the ImageNet dataset for the ILSVRC challenge have shown consistently good performance for transfer learning and are widely used in several tasks, including image recommendation. However, some important questions have not yet been answered in order to use these embeddings for a larger scope of recommendation domains: a) Do CNNs that perform better in ImageNet are also better for transfer learning in content-based image recommendation?, b) Does fine-tuning help to improve performance? and c) Which is the best way to perform the fine-tuning? In this paper we compare several CNN models pre-trained with ImageNet to evaluate their transfer learning performance to an artwork image recommendation task. Our results indicate that models with better performance in the ImageNet challenge do not always imply better transfer learning for recommendation tasks (e.g. NASNet vs. ResNet). Our results also show that fine-tuning can be helpful even with a small dataset, but not every fine-tuning works. Our results can inform other researchers and practitioners on how to train their CNNs for better transfer learning towards image recommendation systems.

研究动机与目标

• 评估在 ILSVRC 上表现优异的 SOTA ImageNet 模型是否能在艺术领域的内容驱动图像推荐任务中实现良好泛化。
• 探究微调是否能提升图像推荐任务中的迁移学习性能。
• 比较不同微调策略（深度 vs. 浅层）及其对推荐准确率的影响。
• 评估在微调过程中引入多任务学习（如预测艺术家、媒介、时期）对提升推荐性能的有效性。

提出的方法

• 在 UGallery 的匿名交易数据基础上，评估五种预训练 CNN 模型（ResNet、VGG19、NASNet、InceptionResNetV2、DenseNet）在真实艺术品推荐任务中的表现。
• 从每个预训练模型的最后全连接层提取视觉嵌入作为固定特征用于推荐任务。
• 执行深度微调与浅层微调：深度微调更新所有卷积层；浅层微调仅更新共享表示层。
• 使用 UGallery 数据集（6,040 幅艺术品，4,099 次购买记录）进行微调与评估，同时将 Omniart（100 万+幅艺术品）作为更大规模的辅助数据集进行对比。
• 采用标准指标（如 top-k 准确率）评估性能，并对比固定特征提取、浅层微调、深度微调及多任务学习的表现。
• 通过消融实验评估在微调过程中引入不同元数据（艺术家、媒介、时期）作为辅助学习目标的影响。

实验结果

研究问题

• RQ1 RQ1：在 ImageNet 上表现更好的 CNN 模型，是否在内容驱动的图像推荐任务中也表现更优？
• RQ2 RQ2：微调是否有助于提升图像推荐任务的性能？
• RQ3 RQ3：微调的最佳方式是什么？（例如：深度 vs. 浅层，目标数据集选择？）

主要发现

• 模型在 ImageNet ILSVRC 挑战赛中的表现与在艺术图像推荐任务中的表现之间并无强相关性；NASNet 和 InceptionResNetV2 虽在 ImageNet 上表现优异，但在推荐任务中表现却不如 ResNet 和 VGG19。
• 与固定特征提取相比，微调显著提升了推荐性能，且在所有指标上，深度微调均优于浅层微调。
• 在目标数据集（UGallery）上进行微调，其结果显著优于使用更大、更丰富的数据集 Omniart 的情况，后者可能包含与推荐任务无关的领域偏移数据（如雕塑、面具等）。
• 多任务学习中加入艺术家预测未带来显著性能提升，但媒介预测因类别不平衡（60% 为油画）导致性能下降。
• 表现最佳的模型在艺术品推荐任务中达到了 SOTA 水平，超越了以往依赖元数据的工作。
• 微调使用实际推荐数据集（UGallery）至关重要——即使使用数据量更大的其他数据集（如 Omniart），性能反而更差。