[论文解读] CuratorNet: Visually-aware Recommendation of Art Images

Pablo Messina, Manuel Cartagena+3 more|arXiv (Cornell University)|Sep 9, 2020

Visual Attention and Saliency Detection参考文献 44被引用 7

一句话总结

CuratorNet 是一种用于视觉感知的物理艺术品图像推荐的神经网络架构，通过利用视觉嵌入和用户偏好聚合，无需微调即可泛化到新用户和新物品。在真实世界物理油画数据集上，其性能优于最先进的模型 VBPR 和 VisRank，且得益于新颖的三元组采样策略，显著提升了排序学习效果。

ABSTRACT

Although there are several visually-aware recommendation models in domains like fashion or even movies, the art domain lacks thesame level of research attention, despite the recent growth of the online artwork market. To reduce this gap, in this article we introduceCuratorNet, a neural network architecture for visually-aware recommendation of art images. CuratorNet is designed at the core withthe goal of maximizing generalization: the network has a fixed set of parameters that only need to be trained once, and thereafter themodel is able to generalize to new users or items never seen before, without further training. This is achieved by leveraging visualcontent: items are mapped to item vectors through visual embeddings, and users are mapped to user vectors by aggregating the visualcontent of items they have consumed. Besides the model architecture, we also introduce novel triplet sampling strategies to build atraining set for rank learning in the art domain, resulting in more effective learning than naive random sampling. With an evaluationover a real-world dataset of physical paintings, we show that CuratorNet achieves the best performance among several baselines,including the state-of-the-art model VBPR. CuratorNet is motivated and evaluated in the art domain, but its architecture and trainingscheme could be adapted to recommend images in other areas

研究动机与目标

• 解决在线艺术市场快速增长背景下，针对物理艺术品的视觉感知推荐研究不足的问题。
• 设计一种无需微调即可泛化到新用户和新物品的推荐模型，克服 VBPR 等现有模型的局限性。
• 开发适用于艺术领域的有效三元组采样策略，以提升排序学习性能。
• 在真实世界物理油画数据集上评估模型，提供包含视觉嵌入的公开基准数据集。

提出的方法

• CuratorNet 使用预训练的 ResNet 视觉嵌入将物品映射为视觉向量，实现视觉感知推荐。
• 通过聚合用户交互过的物品的视觉嵌入，学习用户偏好向量，实现对未见用户的泛化能力。
• 模型采用贝叶斯个性化排序（BPR）目标函数与三元组损失进行训练，每个三元组包含一个用户的正样本物品、另一个正样本物品和一个负样本物品。
• 提出新颖的采样准则以构建训练三元组，优先选择语义相似但偏好度较低的物品作为负样本，从而提升学习效率。
• 架构采用共享权重层，保持参数量固定，实现对新用户和新物品的零样本推理。
• 模型在真实世界物理油画数据集上端到端训练，用户和物品 ID 经匿名化处理，视觉特征已预先提取。

实验结果

研究问题

• RQ1 仅使用视觉嵌入和用户交互历史，视觉感知推荐模型能否在不微调的情况下泛化到新用户和新物品？
• RQ2 针对物理艺术品图像场景，领域特定的三元组采样策略如何提升排序性能？
• RQ3 基于视觉嵌入聚合的模型是否在唯一物品（one-of-a-kind item）设置下优于依赖潜在因子的协同过滤模型？
• RQ4 在真实世界物理油画数据集上，CuratorNet 与 VBPR 和 VisRank 等最先进模型相比，推荐准确率如何？

主要发现

• CuratorNet 在物理油画数据集的所有评估指标上均优于所有基线模型，包括 VBPR 和 VisRank。
• 该模型在 AUC（0.7204 vs. 0.6641）、nDCG@20 和 nDCG@100 上显著优于 VBPR，表明其具备更优的泛化能力和排序质量。
• 所提出的三元组采样准则使 CuratorNet 的 AUC 显著提升至 0.7204（对比随机负采样 0.6602），p = 7.7×10⁻⁵。
• VBPR 同样受益于新采样策略，AUC 从随机采样时的 0.5899 提升至引导采样时的 0.6641，p = 1.6×10⁻⁶。
• 本研究使用的数据集（包含匿名化物理油画交易记录与 ResNet 视觉嵌入）已公开共享，以支持未来研究。
• 该模型在高唯一性物品场景下表现尤为出色，此时传统协同过滤因交互稀疏而表现受限。