[论文解读] Exploring Content-based Artwork Recommendation with Metadata and Visual Features

Pablo Messina, Vicente Domı́nguez+3 more|arXiv (Cornell University)|Jun 19, 2017

Image Retrieval and Classification Techniques参考文献 6被引用 7

一句话总结

本研究评估了基于内容的美术作品推荐方法，采用元数据、深度神经网络（DNN）提取的视觉特征以及显式视觉特征（如亮度、饱和度）。基于UGallery的真实交易数据，研究发现基于DNN的视觉特征优于元数据和显式视觉特征，且结合所有特征的混合模型性能最佳，尽管由于DNN特征的潜在性，可解释性仍有限。

ABSTRACT

Compared to other areas, artwork recommendation has received little attention, despite the continuous growth of the artwork market. Previous research has relied on ratings and metadata to make artwork recommendations, as well as visual features extracted with deep neural networks (DNN). However, these features have no direct interpretation to explicit visual features (e.g. brightness, texture) which might hinder explainability and user-acceptance. In this work, we study the impact of artwork metadata as well as visual features (DNN-based and attractiveness-based) for physical artwork recommendation, using images and transaction data from the UGallery online artwork store. Our results indicate that: (i) visual features perform better than manually curated data, (ii) DNN-based visual features perform better than attractiveness-based ones, and (iii) a hybrid approach improves the performance further. Our research can inform the development of new artwork recommenders relying on diverse content data.

研究动机与目标

• 探究元数据、基于DNN的视觉特征以及显式视觉特征在推荐独一无二的实体美术作品方面的有效性。
• 评估视觉特征是否能在基于内容的美术作品推荐中超越人工整理的元数据。
• 评估结合多种特征类型是否能提升推荐准确率。
• 探讨推荐性能与可解释性之间的权衡，尤其考虑到DNN特征的黑箱特性。

提出的方法

• 本研究使用来自UGallery的交易数据，涵盖1,371名用户、3,490幅独特画作以及2,846笔购买记录。
• 通过预训练的AlexNet DNN提取视觉特征，每幅艺术作品图像生成4,096维的嵌入向量。
• 显式视觉特征（如亮度、饱和度、熵）采用San Pedro & Siersdorfer（2009）提出的方法计算。
• 元数据包括五个人工整理的属性：色彩、主题、风格、媒介和情绪。
• 混合推荐模型使用BPR框架对DNN、显式视觉特征和元数据的得分进行融合，以实现排序。
• 评估采用时间模拟方法：基于用户先前的购买行为对每笔交易进行预测，评估指标包括recall@k、precision@k和nDCG。

实验结果

研究问题

• RQ1 人工整理的元数据在美术作品推荐中的表现与视觉特征相比如何？
• RQ2 预训练DNN提取的潜在视觉特征与显式视觉特征（如亮度、饱和度）相比，性能表现如何？
• RQ3 结合多种特征集（混合模型）是否能带来优于单一特征类型的表现？

主要发现

• 基于DNN的视觉特征优于人工整理的元数据，nDCG@10达到0.0968，而元数据仅为0.0412。
• DNN特征也优于显式视觉特征（EVF），后者nDCG@10为0.0453，表明DNN能捕捉到更具相关性的视觉模式。
• 结合DNN、EVF和元数据的混合模型性能最高，nDCG@10达到0.0990，表明特征融合带来了增量性能提升。
• 仅使用DNN的模型在recall@10上达到0.1525，显著高于元数据（0.0773）和EVF（0.0826）。
• 尽管性能优越，DNN特征仍不具备可解释性，限制了其在可解释推荐中的应用潜力。
• 结果表明，在此情境下，元数据可能对高性能推荐系统并非必要，因为仅依赖视觉特征的性能已优于元数据。