[论文解读] GRN: Generative Rerank Network for Context-wise Recommendation

Yufei Feng, Binbin Hu+4 more|arXiv (Cornell University)|Apr 2, 2021

Recommender Systems and Techniques参考文献 32被引用 4

一句话总结

GRN 提出了一种生成式重排序框架，采用两阶段方法建模最终排序列表中的上下文交互：首先，通过双向LSTM和自注意力机制的评估器预测项目间交互概率；其次，通过GRU和指针网络的生成器，利用策略梯度学习上下文感知的重排序。该方法在淘宝真实部署中实现了PV和IPV分别提升5.2%和6.1%。

ABSTRACT

Reranking is attracting incremental attention in the recommender systems, which rearranges the input ranking list into the final rank-ing list to better meet user demands. Most existing methods greedily rerank candidates through the rating scores from point-wise or list-wise models. Despite effectiveness, neglecting the mutual influence between each item and its contexts in the final ranking list often makes the greedy strategy based reranking methods sub-optimal. In this work, we propose a new context-wise reranking framework named Generative Rerank Network (GRN). Specifically, we first design the evaluator, which applies Bi-LSTM and self-attention mechanism to model the contextual information in the labeled final ranking list and predict the interaction probability of each item more precisely. Afterwards, we elaborate on the generator, equipped with GRU, attention mechanism and pointer network to select the item from the input ranking list step by step. Finally, we apply cross-entropy loss to train the evaluator and, subsequently, policy gradient to optimize the generator under the guidance of the evaluator. Empirical results show that GRN consistently and significantly outperforms state-of-the-art point-wise and list-wise methods. Moreover, GRN has achieved a performance improvement of 5.2% on PV and 6.1% on IPV metric after the successful deployment in one popular recommendation scenario of Taobao application.

研究动机与目标

• 为解决贪婪重排序方法因忽略最终排序列表中上下文依赖而导致的次优性能问题。
• 建模最终排序列表中项目与其周围上下文之间的相互影响，以实现更精确的交互概率预测。
• 学习一种上下文感知的重排序策略，通过考虑项目间的序列和关系上下文，优化用户参与度。
• 实现在淘宝首页等低延迟、真实世界推荐系统中有效部署上下文感知重排序。

提出的方法

• 评估器使用双向LSTM捕捉最终排序列表中的序列依赖关系，并利用自注意力机制建模项目间的相互作用，以优化交互概率预测。
• 生成器采用GRU和注意力机制，逐步从输入列表中选择项目，利用指针网络生成输入列表的排列。
• 使用交叉熵损失训练评估器，而策略梯度则基于评估器预测的奖励来优化生成器。
• 该框架采用两阶段训练：首先在标注的最终列表上训练评估器；其次，使用评估器提供的奖励，通过策略梯度微调生成器。
• 生成器通过蒸馏训练好的评估器中的上下文知识，学习生成上下文最优的排序。
• 通过直接边缘推理和提前触发机制，实现高效的边缘部署，降低生产环境中的延迟。

实验结果

研究问题

• RQ1 通过建模最终列表中项目间的相互影响，上下文感知的重排序策略是否能优于贪婪重排序？
• RQ2 通过策略梯度训练的生成器在多大程度上能比点对点或列表级模型生成更优的最终排序？
• RQ3 在真实世界工业环境中，引入上下文交互概率在多大程度上能提升推荐性能？
• RQ4 所提出的框架是否能高效地部署于淘宝首页等低延迟生产环境？

主要发现

• GRN在基准数据集和工业数据集上均持续优于当前最先进的点对点和列表级重排序方法。
• 在工业推荐数据集上，GRN相比已部署基线PRM，实现了PV提升5.2%和IPV提升6.1%。
• 在淘宝“猜你喜欢”场景的在线A/B测试中，GRN的优越性得到验证，用户参与度指标显著提升。
• 生成器的上下文感知策略带来了更多样化且更具吸引力的推荐，减少了用户因重复类别带来的疲劳感。
• 框架实现了平均32毫秒的在线推理延迟，通过边缘部署和请求调度优化，节省了30毫秒。
• 消融实验表明，GRN G（完整上下文建模）优于GRN G (-DR)，证明了全面上下文整合的重要性。