[论文解读] Large Scale Product Graph Construction for Recommendation in E-commerce

Xiaoyong Yang, Yadong Zhu+3 more|arXiv (Cornell University)|Oct 12, 2020

Recommender Systems and Techniques参考文献 20被引用 7

一句话总结

本文提出 Swing 和 Surprise 算法，利用用户行为数据构建大规模电商推荐产品图，以建模替代品与互补品关系。通过利用准局部结构与基于类别的聚类，该方法提升了鲁棒性，缓解了数据稀疏性问题，并在十亿用户系统中实现 O(1) 响应时间。

ABSTRACT

Building a recommendation system that serves billions of users on daily basis is a challenging problem, as the system needs to make astronomical number of predictions per second based on real-time user behaviors with O(1) time complexity. Such kind of large scale recommendation systems usually rely heavily on pre-built index of products to speedup the recommendation service so that online user waiting time is un-noticeable. One important indexing structure is the product-product index, where one can retrieval a list of ranked products given a seed product. The index can be viewed as a weighted product-product graph. In this paper, we present our novel technologies to efficiently build such kind of indexed product graphs. In particular, we propose the Swing algorithm to capture the substitute relationships between products, which can utilize the substructures of user-item click bi-partitive graph. Then we propose the Surprise algorithm for the modeling of complementary product relationships, which utilizes product category information and solves the sparsity problem of user co-purchasing graph via clustering technique. Base on these two approaches, we can build the basis product graph for recommendation in Taobao. The approaches are evaluated comprehensively with both offline and online experiments, and the results demonstrate the effectiveness and efficiency of the work.

研究动机与目标

• 解决在十亿用户电商平台中构建可扩展、高精度产品图以支持实时推荐的挑战。
• 克服传统基于物品的协同过滤方法的局限性，如对噪声敏感以及共购数据稀疏性问题。
• 采用无监督、行为驱动的方法建模替代品与互补品关系，而非依赖于噪声较大的文本特征。
• 通过构建具有 O(1) 查找复杂度的预索引产品-产品图，确保可扩展性与低延迟响应。
• 通过捕捉用户-物品交互图中的结构模式，超越简单成对相似性，提升推荐质量。

提出的方法

• 提出 Swing 算法，通过识别用户-物品二分图中的稳定准局部结构（‘swings’），检测替代关系，其鲁棒性优于单边相似性。
• 采用基于 Swing 的相似性计算，通过聚合共现用户交互信号，降低偶然或随机点击带来的噪声影响。
• 提出 Surprise 算法，通过类别信息聚类产品并结合标签传播，缓解共购图的稀疏性，以建模互补关系。
• 在 Surprise 中引入时间感知传播机制，反映购买行为的时间顺序，确保互补关系具有方向性和上下文意义。
• 分别基于 Swing 和 Surprise 构建两类独立的产品图——替代图与互补图——作为生产推荐流水线中快速查找索引的依据。
• 以真实用户行为数据（点击与购买）作为主要信号，避免依赖于噪声大或稀疏的文本产品描述。

实验结果

研究问题

• RQ1 如何利用用户-物品交互图中的准局部结构模式，提升替代品推荐的鲁棒性与准确性？
• RQ2 在共购数据极端稀疏的背景下，有哪些技术能有效建模互补品关系？
• RQ3 如何利用产品类别信息与聚类方法，提升互补关系推断的可靠性？
• RQ4 在共购图中引入时间敏感传播，能否提升互补推荐的真实感与方向性？
• RQ5 Swing 与 Surprise 在大规模真实电商环境中，相较于传统局部相似性方法，性能提升程度如何？

主要发现

• Swing 算法通过用稳定、结构感知的信号传播替代点对点相似性，显著提升了预测鲁棒性，降低了对噪声用户点击的敏感性。
• Surprise 通过类别聚类与标签传播有效缓解了共购图的稀疏性，实现了对互补品对的可靠发现。
• 在 Surprise 中引入时间感知传播机制，确保互补关系反映真实的购买序列，增强了上下文相关性。
• 离线评估表明，Swing 与 Surprise 在关系预测任务中均优于基线局部相似性方法，表现出更高的精确率与召回率。
• 在淘宝的线上 A/B 测试中，使用这些方法构建的产品图显著提升了关键业务指标，如点击率与转化率。
• 所提出的商品图构建流水线可高效扩展至数十亿用户与商品规模，在生产系统中支持实时 O(1) 推荐查找。