[论文解读] Joint Modeling and Optimization of Search and Recommendation

Hamed Zamani, W. Bruce Croft|arXiv (Cornell University)|Jul 15, 2018

Recommender Systems and Techniques参考文献 26被引用 14

一句话总结

本文提出了一种联合建模框架 JSR，通过共享损失函数同时训练搜索和推荐系统，以提升检索与推荐性能。在 Amazon 产品数据上的实验表明，与独立训练相比，该方法在两项任务中均取得显著性能提升，通过共享用户交互信息实现了更好的泛化能力和更优的项目表征学习。

ABSTRACT

Despite the somewhat different techniques used in developing search engines and recommender systems, they both follow the same goal: helping people to get the information they need at the right time. Due to this common goal, search and recommendation models can potentially benefit from each other. The recent advances in neural network technologies make them effective and easily extendable for various tasks, including retrieval and recommendation. This raises the possibility of jointly modeling and optimizing search ranking and recommendation algorithms, with potential benefits to both. In this paper, we present theoretical and practical reasons to motivate joint modeling of search and recommendation as a research direction. We propose a general framework that simultaneously learns a retrieval model and a recommendation model by optimizing a joint loss function. Our preliminary results on a dataset of product data indicate that the proposed joint modeling substantially outperforms the retrieval and recommendation models trained independently. We list a number of future directions for this line of research that can potentially lead to development of state-of-the-art search and recommendation models.

研究动机与目标

• 探索联合建模搜索与推荐系统所带来的潜在优势，二者均旨在帮助用户找到相关信息。
• 通过在统一框架下整合检索与推荐的训练过程，弥合信息检索（IR）与推荐系统（RecSys）社区之间的差距。
• 通过融合搜索与推荐数据中的互补信号，提升模型的泛化能力与表征学习效果。
• 探究联合训练是否能在检索与推荐任务中均优于独立训练。
• 在仅一种模态（搜索或推荐）拥有标注数据的冷启动场景下，实现性能提升。

提出的方法

• 提出一种通用框架 JSR，通过共享的联合损失函数联合训练检索模型与推荐模型。
• 采用全连接神经网络作为两种模型的基础架构，以评估其可行性与性能。
• 利用来自搜索（如查询-项目相关性）与推荐（如购买历史）的用户交互数据，训练共享的项目表征。
• 在端到端训练过程中，优化一个平衡检索与推荐目标的联合损失函数。
• 采用共享的嵌入空间表示项目，使语义信号与协同信号得以联合编码。
• 在 Amazon 产品数据集上训练模型，使用查询、点击日志与购买历史，以模拟真实世界场景。

实验结果

研究问题

• RQ1 联合训练搜索与推荐模型是否能带来相较于独立训练模型的性能提升？
• RQ2 联合建模如何影响检索与推荐系统的泛化能力？
• RQ3 共享的用户交互数据在多大程度上能改善两项任务中的项目表征学习？
• RQ4 在低数据场景下，联合建模能否有效实现从一种模态（如搜索）向另一种模态（如推荐）的知识迁移？
• RQ5 该联合优化框架在包含多种数据源的真实世界环境中是否具备鲁棒性与可扩展性？

主要发现

• 与独立训练模型相比，JSR 框架的联合训练在搜索检索与推荐任务中均带来显著的性能提升。
• 联合模型表现出更好的泛化能力，由于共享学习的正则化效应，减少了在训练数据上的过拟合。
• 联合学习得到的项目表征更具语义一致性，例如在 'iphone accessories' 等查询上的检索性能得到改善。
• 推荐性能的提升源于共享表征对搜索与购买日志中共同出现模式的捕捉，从而提高了相关项目的召回率。
• 该框架即使在冷启动场景下也能实现性能提升，此时仅一种模态拥有标注数据，表明其在跨任务迁移学习方面具有潜力。
• 结果表明，提升一个模型（如检索）可间接增强另一个模型（如推荐），支持了‘一石二鸟’的假设。