[论文解读] Solving Cold-Start Problem in Large-scale Recommendation Engines: A Deep Learning Approach

Jianbo Yuan, Walid Shalaby+4 more|arXiv (Cornell University)|Nov 16, 2016

Recommender Systems and Techniques参考文献 21被引用 5

一句话总结

本文提出了一种基于深度学习的文档嵌入方法，采用doc2vec解决基于协同过滤（CF）推荐系统中的冷启动问题，无需修改CF核心即可实现对新物品的精准推荐。该方法利用上下文元数据提升相似度匹配效果，在真实世界的工作推荐系统中实现了高准确率与可扩展性，每日推理时间低于两小时。

ABSTRACT

Collaborative Filtering (CF) is widely used in large-scale recommendation engines because of its efficiency, accuracy and scalability. However, in practice, the fact that recommendation engines based on CF require interactions between users and items before making recommendations, make it inappropriate for new items which haven't been exposed to the end users to interact with. This is known as the cold-start problem. In this paper we introduce a novel approach which employs deep learning to tackle this problem in any CF based recommendation engine. One of the most important features of the proposed technique is the fact that it can be applied on top of any existing CF based recommendation engine without changing the CF core. We successfully applied this technique to overcome the item cold-start problem in Careerbuilder's CF based recommendation engine. Our experiments show that the proposed technique is very efficient to resolve the cold-start problem while maintaining high accuracy of the CF recommendations.

研究动机与目标

• 解决大规模协同过滤（CF）推荐系统中因新物品缺乏用户交互数据而导致的冷启动问题。
• 开发一种即插即用的解决方案，可无缝集成至现有CF引擎，无需修改其核心架构。
• 通过深度学习实现的语义文档相似度计算，提升新物品的推荐准确率。
• 利用捕捉相似外观物品之间功能差异的上下文元数据，提升模型性能。
• 实现在生产环境（如工作推荐平台）中可扩展的每日部署。

提出的方法

• 所提出的方法使用最先进的深度学习模型doc2vec，学习物品描述（如职位发布、简历）的稠密向量表示，以计算语义相似度。
• 在CF核心与推荐输出之间插入配对层，通过学习到的文档嵌入将新物品与已有物品进行匹配。
• 将上下文元数据（如职位名称、所需技能、经验水平）整合至doc2vec模型输入，以提升对语义相似但功能不同的物品的区分能力。
• 系统设计为模块化，可与任何现有CF引擎兼容，实现无需修改推荐逻辑的无缝集成。
• 采用多进程计算，支持每日重新训练与推理，整个流水线（包括doc2vec）在24核系统上可在两小时内完成。
• 使用CareerBuilder提供的真实世界工作推荐数据对方法进行评估，并与基线模型（如TF-IDF和LDA）进行性能对比。

实验结果

研究问题

• RQ1 基于深度学习的文档嵌入模型能否有效解决CF推荐系统中新物品的冷启动问题？
• RQ2 在语义相似度高但功能相关性低的情况下，引入上下文元数据在物品匹配准确率方面有何提升作用？
• RQ3 该方法在不修改CF引擎核心组件的前提下，与现有CF引擎的集成程度如何？
• RQ4 在真实世界大规模部署环境中，该解决方案的计算效率与可扩展性如何？
• RQ5 该方法是否可泛化至其他冷启动场景（如搜索相关性或排序）？

主要发现

• 结合上下文特征的doc2vec模型在将新物品匹配到相关现有物品方面显著优于基线模型（如TF-IDF、LDA），尤其在文本高度相似但功能相关性低的情况下表现更优。
• 引入上下文元数据有效减少了高度相似但功能不同的职位发布之间的错误匹配，例如HVAC技师与宴会厅服务员之间的误匹配。
• 整个流水线（包括模型推理与每日重新训练）在24核系统上可在两小时内完成，适合每日部署。
• 该方法在无需修改底层CF引擎的前提下，实现了对无任何用户交互记录的新职位发布推荐的高准确率。
• 该方法展现出强大的可扩展性与效率，在生产规模测试中成功处理了超过一百万份文档。
• 针对多模态用户-用户与用户-职位相似度模型的初步结果表明，该方法有望扩展至解决CF系统中的用户冷启动问题。