[论文解读] Model-based Multi-agent Reinforcement Learning: Recent Progress and Prospects

Xihuai Wang, Zhicheng Zhang+1 more|arXiv (Cornell University)|Mar 20, 2022

Software Engineering Research被引用 11

一句话总结

本文综述了基于模型的多智能体强化学习（MARL），提出利用环境模型与对手模型可提升样本效率，并解决多智能体强化学习中的核心挑战，如非平稳性与协作问题。文章按训练方式、对手意识与模型使用方式对算法进行分类，强调基于模型的方法可缓解多智能体系统的复杂性，同时指出了在可扩展性与模型准确性方面仍存在的开放性问题。

ABSTRACT

Significant advances have recently been achieved in Multi-Agent Reinforcement Learning (MARL) which tackles sequential decision-making problems involving multiple participants. However, MARL requires a tremendous number of samples for effective training. On the other hand, model-based methods have been shown to achieve provable advantages of sample efficiency. However, the attempts of model-based methods to MARL have just started very recently. This paper presents a review of the existing research on model-based MARL, including theoretical analyses, algorithms, and applications, and analyzes the advantages and potential of model-based MARL. Specifically, we provide a detailed taxonomy of the algorithms and point out the pros and cons for each algorithm according to the challenges inherent to multi-agent scenarios. We also outline promising directions for future development of this field.

研究动机与目标

• 解决多智能体强化学习（MARL）固有的样本效率低下问题，该问题源于非平稳性、部分可观测性以及协作难题。
• 探讨基于模型的MARL如何通过学习环境动力学与奖励函数来提升样本效率。
• 系统性地将现有基于模型的MARL算法按三个维度进行分类：训练方式、对手意识与环境模型使用方式。
• 分析基于模型的方法在在多大程度上缓解或加剧了MARL的核心挑战，如非平稳性与信用分配问题。
• 识别并概述有前景的未来研究方向，包括可扩展的集中式训练、基于对手建模的去中心化MARL，以及基于模型的通信协议。

提出的方法

• 根据训练方式对基于模型的MARL算法进行分类：集中式训练与去中心化训练。
• 在去中心化设置中引入对手建模作为关键技术，通过预测其他智能体的行为来稳定学习过程并提升协作能力。
• 在基于规划的方法（如模型预测控制MPC和Dyna风格学习）中使用环境模型（动力学与奖励函数）进行轨迹滚动仿真。
• 应用基于模型的规划，通过模拟未来轨迹来减少对真实环境交互的依赖，从而提升策略更新效率。
• 集成通信协议，传输环境模型预测的长期轨迹而非仅当前动作，以增强共识形成能力。
• 结合值函数近似与基于模型的规划，降低对实时交互的依赖，提升样本效率。

实验结果

研究问题

• RQ1 与无模型方法相比，基于模型的MARL在多智能体环境中在多大程度上能降低样本复杂度？
• RQ2 不同的训练方式——集中式与去中心化——如何影响基于模型的MARL的性能与可扩展性？
• RQ3 在去中心化的基于模型的MARL中，对手建模能否有效缓解非平稳性与协作问题？
• RQ4 基于长期模型预测的通信在多智能体协作与共识形成中起到何种作用？
• RQ5 在模型准确性、模型与值函数不匹配以及可扩展性方面，存在哪些关键挑战，阻碍了基于模型的MARL在复杂多智能体系统中的应用？

主要发现

• 基于模型的MARL在减少训练过程中对真实环境交互次数方面展现出显著潜力，可有效提升样本效率。
• 集中式训练结合基于模型的规划可有效利用动态规划与蒙特卡洛树搜索，但因高维联合状态与动作空间的存在，可扩展性仍是主要挑战。
• 在去中心化设置中，对手建模通过使智能体能够预测其他智能体的行为，增强了学习稳定性与协作能力，从而缓解了非平稳性问题。
• 将环境模型预测的未来轨迹编码进通信协议，相比仅基于当前步意图的通信，能实现更快的共识形成与更高效的协作。
• 模型不准确以及学习到的模型与值函数之间的不匹配，仍是重大开放性问题，尤其在部分可观测与合作型多智能体场景中更为突出。
• 基于模型的MARL的可扩展性受限于计算复杂度，尤其在集中式训练中，联合变量维度随智能体数量呈指数级增长。