[论文解读] Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning

Xiaoteng Ma, Yiqin Yang+4 more|arXiv (Cornell University)|Feb 9, 2021

Reinforcement Learning in Robotics被引用 9

一句话总结

该论文提出了一种交互式演员-critic（IAC）算法，一种合作式多智能体强化学习方法，通过协作探索模块建模智能体交互以进行策略学习，并通过共享注意力机制进行价值函数估计。IAC在合作性、鲁棒性和可扩展性方面表现更优，在捕食者-猎物和多摆任务中优于SIAQ和DDPG-MIX等最先进方法，尤其在稀疏奖励和部分可观测环境下表现突出。

ABSTRACT

Value-based methods of multi-agent reinforcement learning (MARL), especially the value decomposition methods, have been demonstrated on a range of challenging cooperative tasks. However, current methods pay little attention to the interaction between agents, which is essential to teamwork in games or real life. This limits the efficiency of value-based MARL algorithms in the two aspects: collaborative exploration and value function estimation. In this paper, we propose a novel cooperative MARL algorithm named as interactive actor-critic~(IAC), which models the interaction of agents from the perspectives of policy and value function. On the policy side, a multi-agent joint stochastic policy is introduced by adopting a collaborative exploration module, which is trained by maximizing the entropy-regularized expected return. On the value side, we use the shared attention mechanism to estimate the value function of each agent, which takes the impact of the teammates into consideration. At the implementation level, we extend the value decomposition methods to continuous control tasks and evaluate IAC on benchmark tasks including classic control and multi-agent particle environments. Experimental results indicate that our method outperforms the state-of-the-art approaches and achieves better performance in terms of cooperation.

研究动机与目标

• 为解决基于价值的多智能体强化学习中对智能体交互建模不足的问题，该问题限制了协作探索与价值函数估计的性能。
• 通过在策略和价值函数组件中显式建模智能体之间的相互依赖关系，提升合作式多智能体强化学习中的协作效率。
• 将价值分解方法扩展至连续控制任务，解决先前方法在可扩展性和表征能力方面的局限。
• 在稀疏奖励和部分可观测性条件下提升鲁棒性和可扩展性，这些特征常见于真实世界的合作任务。
• 开发一个统一框架，整合熵正则化协作探索与基于注意力的联合价值估计。

提出的方法

• 引入协作探索模块，通过最大化熵正则化期望回报来训练多智能体联合随机策略，促进协调行为。
• 采用共享注意力机制来估计每个智能体的价值函数，捕捉队友行为对联合结果的影响。
• 通过在类似IGM的约束下学习个体动作价值函数，将价值分解方法扩展至连续控制任务，从而因子化联合价值函数。
• 采用集中式训练、去中心化执行（CTDE）框架，在保持联合策略优化可处理性的同时，实现去中心化推理。
• 应用相互价值函数信息（MVFI）作为新目标，平衡个体与集体奖励，增强协作性。
• 实施联合策略训练方案，通过熵最大化将个体策略耦合，鼓励多样化且协调的探索。

实验结果

研究问题

• RQ1 在合作式多智能体强化学习中，如何有效建模智能体交互以提升协作探索能力？
• RQ2 引入相互价值函数信息在多大程度上能提升价值函数估计与策略协调？
• RQ3 共享注意力机制是否能通过捕捉多智能体设置中队友依赖关系来改善价值函数估计？
• RQ4 与现有基线方法相比，所提出的IAC算法在稀疏奖励和部分可观测性条件下的表现如何？
• RQ5 协作探索与基于注意力的价值估计的整合是否能提升大规模多智能体任务中的可扩展性？

主要发现

• 在捕食者-猎物任务中，IAC分别比SIAQ和DDPG-MIX节省0.295百万步和0.06百万步成功捕获猎物。
• 在多摆任务中，随着智能体数量增加，IAC保持稳定性能，而SIAQ无法扩展至少量以上智能体。
• 在部分可观测捕食者-猎物环境（PO-Predator-prey）中，IAC表现出色，智能体仅能观测到0.8距离范围内的局部信息，证明其在部分可观测性下的鲁棒性。
• 协作探索模块相比确定性策略能实现更优协作，表现为更高的回合回报与更快收敛速度。
• 共享注意力机制显著提升了价值函数估计性能，从而实现更优的联合动作选择与策略协调。
• IAC实现了稳定的策略关系，在多摆等对称任务中，智能体策略间呈现正相关，表明协作有效。