[论文解读] Learning to Collaborate: Multi-Scenario Ranking via Multi-Agent Reinforcement Learning

Jun Feng, Heng Li+5 more|arXiv (Cornell University)|Sep 17, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 41被引用 13

一句话总结

本文提出 MA-RDPG，一种多智能体强化学习框架，通过结合集中式评论家、具有确定性策略的私有智能体以及用于跨场景上下文共享的循环消息传递机制，实现多个场景（如搜索、推荐、广告）中排序策略的协作优化。在大型电商平台上的评估表明，与独立优化基线相比，MA-RDPG 在整体平台性能上显著提升，通过协调的长期奖励最大化，实现了更优的联合排序质量。

ABSTRACT

Ranking is a fundamental and widely studied problem in scenarios such as search, advertising, and recommendation. However, joint optimization for multi-scenario ranking, which aims to improve the overall performance of several ranking strategies in different scenarios, is rather untouched. Separately optimizing each individual strategy has two limitations. The first one is lack of collaboration between scenarios meaning that each strategy maximizes its own objective but ignores the goals of other strategies, leading to a sub-optimal overall performance. The second limitation is the inability of modeling the correlation between scenarios meaning that independent optimization in one scenario only uses its own user data but ignores the context in other scenarios. In this paper, we formulate multi-scenario ranking as a fully cooperative, partially observable, multi-agent sequential decision problem. We propose a novel model named Multi-Agent Recurrent Deterministic Policy Gradient (MA-RDPG) which has a communication component for passing messages, several private actors (agents) for making actions for ranking, and a centralized critic for evaluating the overall performance of the co-working actors. Each scenario is treated as an agent (actor). Agents collaborate with each other by sharing a global action-value function (the critic) and passing messages that encodes historical information across scenarios. The model is evaluated with online settings on a large E-commerce platform. Results show that the proposed model exhibits significant improvements against baselines in terms of the overall performance.

研究动机与目标

• 为解决大型在线平台中多个场景下排序策略独立优化导致的次优性能问题。
• 建模当前孤立优化中被忽略的不同排序场景（如主搜索、店内搜索）之间用户行为的相关性。
• 通过将每个场景视为多智能体强化学习框架中的协作智能体，实现多个排序目标（如点击率 CTR、转化率 CVR、商品交易总额 GMV）的联合优化。
• 设计一种可扩展、完全协作、部分可观测的多智能体强化学习模型，支持连续动作空间和长期信用分配。
• 通过使智能体考虑超越其即时指标的未来奖励，提升整体平台范围内的性能。

提出的方法

• 将多场景排序建模为完全协作、部分可观测、多智能体序列决策问题。
• 提出 MA-RDPG 模型，其配备集中式评论家，用于评估整体性能的全局动作价值函数。
• 采用私有智能体（每个场景一个），利用确定性策略生成连续动作（如项目排序）。
• 引入循环通信组件，使智能体能够传递编码历史跨场景上下文的消息。
• 使用循环神经网络（LSTM）编码消息历史，实现对场景间依赖关系的时间建模。
• 采用带有集中训练和去中心化执行的循环确定性策略梯度（RDPG）算法，以稳定学习并支持连续动作空间。

实验结果

研究问题

• RQ1 跨多个排序场景的协作优化是否能带来优于独立优化的整体平台性能？
• RQ2 如何有效建模用户行为在跨场景间的相关性，以提升联合排序性能？
• RQ3 智能体间通信与共享价值函数学习对多智能体排序性能有何影响？
• RQ4 配备消息传递的集中式评论家能否在多场景排序中实现更优的信用分配与长期奖励最大化？
• RQ5 所提出的 MA-RDPG 模型与独立优化各场景的基线方法相比表现如何？

主要发现

• 与独立优化各场景的基线方法相比，MA-RDPG 在整体平台性能上实现了显著提升。
• 该模型通过促进跨场景协作和长期奖励考量，有效改善了多个场景中 CTR、CVR 和 GMV 的联合优化。
• 在大型电商平台上的在线 A/B 测试表明，MA-RDPG 在整体排序有效性方面优于 L2R+L2R 基线。
• 案例研究显示，MA-RDPG 生成的主搜索结果与店内搜索目标更具战略一致性，更倾向于高意向用户和品牌商品，从而提升未来转化率。
• MA-RDPG 中的通信机制使智能体能够跨场景共享上下文信息，从而做出更连贯且全局最优的排序决策。
• 该模型有效捕捉了用户在场景间切换的行为（例如，25.46% 的用户从主搜索切换至店内搜索），并利用这种相关性提升跨场景性能。