[论文解读] Fully Independent Communication in Multi-Agent Reinforcement Learning

Rafael Pina, De Silva+2 more|arXiv (Cornell University)|Jan 26, 2024

Evolutionary Game Theory and Cooperation被引用 4

一句话总结

本文提出了一种新颖的学习方案，使完全独立的多智能体强化学习（MARL）智能体——在不共享参数的情况下——能够通过独立的策略网络和消息网络成功学习并利用通信策略。尽管存在参数独立性的挑战，该方法仍能实现有效的通信，结果表明通信并非总是有益，可能引入开销，尤其是在智能体网络容量不足或过大的情况下。

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) comprises a broad area of research within the field of multi-agent systems. Several recent works have focused specifically on the study of communication approaches in MARL. While multiple communication methods have been proposed, these might still be too complex and not easily transferable to more practical contexts. One of the reasons for that is due to the use of the famous parameter sharing trick. In this paper, we investigate how independent learners in MARL that do not share parameters can communicate. We demonstrate that this setting might incur into some problems, to which we propose a new learning scheme as a solution. Our results show that, despite the challenges, independent agents can still learn communication strategies following our method. Additionally, we use this method to investigate how communication in MARL is affected by different network capacities, both for sharing and not sharing parameters. We observe that communication may not always be needed and that the chosen agent network sizes need to be considered when used together with communication in order to achieve efficient learning.

研究动机与目标

• 探究在智能体完全独立且不共享网络参数的情况下，是否仍可实现有效的通信。
• 解决在实际应用中常见的去中心化、非共享参数MARL设置下的通信挑战。
• 考察在MARL中通信与智能体网络容量增加之间的权衡关系。
• 评估通信是否总是提升学习性能，或是否可能引入无益的开销。
• 提出并验证一种新学习方案，使完全独立的MARL智能体能够实现通信。

提出的方法

• 提出一种新学习方案，使独立智能体能够在不共享策略网络参数的情况下学习通信策略。
• 为每个智能体配备独立的策略网络和独立的消息生成网络，两者均独立训练。
• 采用一种通信协议，即智能体向其他智能体广播消息，这些消息随后作为额外输入输入到其策略网络中。
• 使用集中式训练、去中心化执行（CTDE）框架进行训练，其中联合动作价值函数通过混合网络进行优化。
• 引入通信损失项，以鼓励信息丰富的消息传输，同时保持智能体网络的独立性。
• 通过消融实验比较不同网络容量下以及有无通信情况下的性能表现。

实验结果

研究问题

• RQ1 当智能体不共享参数时，完全独立的MARL智能体是否能够学习到有效的通信策略？
• RQ2 在无参数共享的情况下，通信性能如何随智能体网络容量的不同而变化？
• RQ3 增加通信是否总是能提升学习性能，还是可能引入无益的开销？
• RQ4 在多大程度上，增加智能体网络容量可以弥补MARL中缺乏通信的不足？
• RQ5 所提出的学方案如何在不依赖参数共享的情况下，使独立智能体实现通信？

主要发现

• 尽管缺乏参数共享，所提出的学习方案仍使独立的MARL智能体成功学习并利用了通信策略。
• 通信并非总是有益，当智能体网络容量过低或过高时，可能引入性能开销。
• 更高的网络容量可在一定程度上弥补缺乏通信的不足，但仅到一定限度——在无通信情况下，过度的容量会导致收益递减。
• 研究发现，在某些环境中通信可能是不必要的，特别是当智能体具备足够强的个体信息处理能力时。
• 结果表明，智能体网络规模的选择必须与通信使用情况仔细匹配，才能实现高效学习。
• 所提出的方法表明，在完全独立的MARL中，即使没有共享参数，有效通信也是可行的，从而挑战了‘参数共享是必需的’这一假设。