[论文解读] Revisit Recommender System in the Permutation Prospective

Yufei Feng, Yu Gong+3 more|arXiv (Cornell University)|Feb 24, 2021

Recommender Systems and Techniques参考文献 34被引用 7

一句话总结

本文提出 PRS，一种新颖的两阶段排列式重排序框架，通过目标导向的束搜索（FPSA）生成多个候选项目列表，并利用基于专用 DPWN 模型推导出的统一排列式度量（LR）对列表进行排序，从而解决推荐系统中排列变异影响的问题。在淘宝线上部署中，PRS 在 PV 上实现 11.0% 的提升，在 IPV 上实现 8.7% 的提升。

ABSTRACT

Recommender systems (RS) work effective at alleviating information overload and matching user interests in various web-scale applications. Most RS retrieve the user's favorite candidates and then rank them by the rating scores in the greedy manner. In the permutation prospective, however, current RS come to reveal the following two limitations: 1) They neglect addressing the permutation-variant influence within the recommended results; 2) Permutation consideration extends the latent solution space exponentially, and current RS lack the ability to evaluate the permutations. Both drive RS away from the permutation-optimal recommended results and better user experience. To approximate the permutation-optimal recommended results effectively and efficiently, we propose a novel permutation-wise framework PRS in the re-ranking stage of RS, which consists of Permutation-Matching (PMatch) and Permutation-Ranking (PRank) stages successively. Specifically, the PMatch stage is designed to obtain the candidate list set, where we propose the FPSA algorithm to generate multiple candidate lists via the permutation-wise and goal-oriented beam search algorithm. Afterwards, for the candidate list set, the PRank stage provides a unified permutation-wise ranking criterion named LR metric, which is calculated by the rating scores of elaborately designed permutation-wise model DPWN. Finally, the list with the highest LR score is recommended to the user. Empirical results show that PRS consistently and significantly outperforms state-of-the-art methods. Moreover, PRS has achieved a performance improvement of 11.0% on PV metric and 8.7% on IPV metric after the successful deployment in one popular recommendation scenario of Taobao application.

研究动机与目标

• 解决现有推荐系统在处理推荐项目列表中排列变异影响方面的局限性。
• 通过实现对高质量排列的高效探索，克服基于排列的推荐中解空间的指数级增长问题。
• 引入统一的排列式评估标准，用于从候选排列中选择最优项目列表。
• 通过推荐更符合用户行为模式的排列，而非仅关注项目相关性，从而提升用户体验。

提出的方法

• 提出一种两阶段框架 PRS，包含排列匹配（PMatch）和排列排序（PRank）两个阶段。
• 引入 FPSA 算法——一种排列式且目标导向的束搜索算法，用于在 PMatch 阶段生成多样化的候选项目列表。
• 设计 DPWN 模型以预测不同排列下的交互概率，实现排列感知评分。
• 采用 LR 度量——一种基于 DPWN 输出计算的统一排列式排序标准，用于对候选列表进行排序。
• 使用 CTR 与 NEXT 分数的加权组合作为 FPSA 的输入，其中超参数 α 和 β 通过网格搜索进行调优。
• 在生产环境中部署 PRS，延迟极低，已将 FPSA 和 LR 度量集成至现有的匹配、排序与重排序流程中。

实验结果

研究问题

• RQ1 推荐系统如何有效探索项目列表排列空间的指数级庞大解空间，以找到最优排序？
• RQ2 排列变异影响对用户交互行为的影响是什么？如何建模该影响以提升推荐质量？
• RQ3 统一的排列式排序标准是否能在实际部署中超越贪婪的点式重排序方法？
• RQ4 所提出的 PRS 框架在离线指标与线上 A/B 测试中的表现如何？

主要发现

• 在淘宝的 Minidetail 场景线上 A/B 测试中，PRS 在 PV 指标上实现 11.0% 的相对提升，在 IPV 指标上实现 8.7% 的提升。
• 仅 FPSA 算法本身即在 PV 上带来 11.0% 的提升，在 IPV 上带来 2.6% 的提升，平均推理耗时为 1.2 毫秒。
• 基于 DPWN 模型的 LR 度量额外在 IPV 上带来 6.1% 的提升，平均耗时 6.2 毫秒。
• 完整 PRS 框架的线上推理总延迟仅为 7.3 毫秒，支持实时部署。
• 网格搜索结果显示，α = 7 在浏览与交互引导之间实现最佳平衡，最大化 LR 度量。
• 该框架在工业数据集与基准数据集上，均优于当前最先进的点式与列表式方法。