[论文解读] Learning to Collaborate in Multi-Module Recommendation via Multi-Agent Reinforcement Learning without Communication

Xu He, Bo An+7 more|arXiv (Cornell University)|Aug 21, 2020

Evolutionary Game Theory and Cooperation参考文献 34被引用 9

一句话总结

本文提出 MASSA，一种用于多模块电商推荐的多智能体强化学习框架，可在无需直接通信的情况下实现协作。它采用受相关均衡启发的信号网络与熵正则化来协调探索，在真实世界淘宝数据上显著提升了基线方法的全局性能。

ABSTRACT

With the rise of online e-commerce platforms, more and more customers prefer to shop online. To sell more products, online platforms introduce various modules to recommend items with different properties such as huge discounts. A web page often consists of different independent modules. The ranking policies of these modules are decided by different teams and optimized individually without cooperation, which might result in competition between modules. Thus, the global policy of the whole page could be sub-optimal. In this paper, we propose a novel multi-agent cooperative reinforcement learning approach with the restriction that different modules cannot communicate. Our contributions are three-fold. Firstly, inspired by a solution concept in game theory named correlated equilibrium, we design a signal network to promote cooperation of all modules by generating signals (vectors) for different modules. Secondly, an entropy-regularized version of the signal network is proposed to coordinate agents' exploration of the optimal global policy. Furthermore, experiments based on real-world e-commerce data demonstrate that our algorithm obtains superior performance over baselines.

研究动机与目标

• 为解决由于独立优化模块之间缺乏协作而导致的多模块电商推荐中全局性能次优的问题。
• 设计一种无需直接通信的协作式多智能体强化学习框架。
• 通过集中式信号网络协调智能体，实现在无显式智能体间通信情况下的全局策略优化。
• 通过在信号网络中引入熵正则化，提升高维状态与动作空间中的探索能力。

提出的方法

• 引入信号网络，基于用户上下文为每个模块生成相关信号，作为无直接通信的集中协调器。
• 使用带熵正则化的策略梯度方法训练信号网络，以促进多样化和全局最优的探索。
• 在信号网络的损失函数中加入熵项，以平滑信号分布，促进对联合动作空间的广泛探索。
• 采用带有双延迟深度确定性策略梯度（DDPG）组件的演员-critic架构，每个模块在多智能体设置中进行训练。
• 信号网络与智能体端到端联合训练，使其学习如何引导智能体向高回报的联合动作前进。
• 该方法在真实世界淘宝电商数据上通过离线与在线实验进行评估。

实验结果

研究问题

• RQ1 在多智能体强化学习设置中，集中式信号网络能否有效实现非通信推荐模块之间的协作？
• RQ2 对信号网络进行熵正则化如何改善探索并加速收敛至全局最优策略？
• RQ3 所提出方法是否在多模块推荐中优于现有的基于通信与非通信的多智能体强化学习基线方法？
• RQ4 熵正则化超参数 α 对性能与探索动态有何影响？
• RQ5 与其它协调机制相比，信号网络的设计在性能与稳定性方面表现如何？

主要发现

• 在真实世界淘宝数据的离线与在线评估中，MASSA 均优于所有基线方法，包括 COMA 与 MASAC。
• 仅使用信号网络的性能已优于 MASAC（无熵正则化），证明其在无通信条件下实现协作的有效性。
• 带熵正则化的 MASSA 版本（MASSA）显著优于无熵正则化的 MASSA，表明熵正则化可防止过早收敛至次优策略。
• 在线训练曲线显示，MASSA 在约 30,000 步后因持续探索而成功逃离次优解，而无熵正则化的 MASSA 则陷入停滞，并在最后阶段表现出上升的方差。
• 消融实验确认 α = 0.01 时性能最佳，能在信号网络中实现探索与利用的最优平衡。