[论文解读] Human Curation and Convnets: Powering Item-to-Item Recommendations on Pinterest
本文提出了 Related Pins，这是一个 Pinterest 的物品到物品推荐系统，通过在学习排序框架中结合用户策划信号（源自图像和画板共现）与预训练卷积神经网络（VGG、Faster R-CNN）的深度视觉特征，实现推荐。该系统通过利用策划元数据和视觉相似性，使用户参与度提升了 50%；当视觉相似性权重更高时，目标检测进一步将性能提升了 4.9%。
This paper presents Pinterest Related Pins, an item-to-item recommendation system that combines collaborative filtering with content-based ranking. We demonstrate that signals derived from user curation, the activity of users organizing content, are highly effective when used in conjunction with content-based ranking. This paper also demonstrates the effectiveness of visual features, such as image or object representations learned from convnets, in improving the user engagement rate of our item-to-item recommendation system.
研究动机与目标
- 通过利用用户在 Pin 和画板互动中产生的策划信号，提升 Pinterest 上的物品到物品推荐效果。
- 评估来自深度卷积神经网络（如 VGG、Faster R-CNN）的视觉特征在提升视觉内容平台推荐相关性方面的有效性。
- 探究在 Pin 中检测主导视觉对象是否能提升推荐质量，以及视觉相似性应如何加权。
- 通过学习排序框架，结合协同过滤与基于内容的特征，优化排序效果。
- 扩展对来自策划元数据和视觉检测的稀疏特征及交叉特征的使用。
提出的方法
- 系统使用 PinJoin 和 BoardJoin 数据结构来建模图像和画板共现信号，捕捉跨多个 Pin 和画板的用户策划元数据。
- 通过微调的 VGG 和 Faster R-CNN 模型提取视觉特征，特征在完整图像或检测到的对象上计算。
- 学习排序框架结合视觉、文本和图信号（如类别、共现性）对候选 Pin 进行重排序。
- 模型整合了 32 个稀疏类别交叉特征，并根据检测到的对象动态调整视觉相似性的权重。
- 通过 Faster R-CNN 进行目标检测，使用 NMS；仅处理具有高置信度且尺寸较大的对象（≥图像面积的 25% 或置信度 >0.9）的 Pin。
- 测试了三种基于对象的重排序变体：仅使用对象特征（A）、增加视觉权重（B），以及在使用完整图像特征的同时增加视觉权重（C）。
实验结果
研究问题
- RQ1源自图像和画板共现的用户策划信号在提升物品到物品推荐效果方面有多有效？
- RQ2来自 VGG 和 Faster R-CNN 的深度视觉特征在视觉内容平台上的推荐质量提升方面有多大作用？
- RQ3在 Pin 中检测主导视觉对象是否能增强推荐的相关性？如果是，视觉相似性应如何加权？
- RQ4结合类别与视觉信号的交叉特征是否能进一步提升参与度，超过单一特征的效果？
- RQ5基于是否检测到对象而动态调整视觉相似性权重，其影响是什么？
主要发现
- Related Pins 系统在 2015 年 5 月至 2015 年 11 月期间，用户参与度（定义为点击率或保存率）提升了 50%。
- 在基础视觉重排序模型之上增加 32 个类别交叉特征，额外带来了 1.2% 的参与度提升。
- 使用对象检测与完整图像特征，并提高视觉相似性权重的变体 C，相比控制模型实现了 4.9% 的参与度提升。
- 变体 B（仅使用对象特征并提高视觉权重）实现了 0.9% 的参与度提升，表明仅靠对象特征在缺乏完整图像上下文时效果较弱。
- 变体 A（仅使用对象特征）仅带来 0.5% 的参与度提升，表明仅依赖对象特征缺乏足够上下文，难以实现高质量排序。
- 结果表明，在学习排序框架中，用户策划信号与深度视觉特征的结合，对视觉推荐系统具有极高的有效性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。