[论文解读] Deep Multiagent Reinforcement Learning: Challenges and Directions

Annie Wong, Thomas Bäck+2 more|arXiv (Cornell University)|Jun 29, 2021

Experimental Behavioral Economics Studies被引用 10

一句话总结

本文综述了深度多智能体强化学习（DMARL），识别出五个关键研究领域——集中训练分散执行、对手建模、通信、协调和奖励塑形——以应对非平稳性、部分可观测性和维度灾难等核心挑战。文章主张采用跨学科方法，整合心理学与社会学的洞见，以开发更稳健、类人的智能体。

ABSTRACT

This paper surveys the field of deep multiagent reinforcement learning. The combination of deep neural networks with reinforcement learning has gained increased traction in recent years and is slowly shifting the focus from single-agent to multiagent environments. Dealing with multiple agents is inherently more complex as (a) the future rewards depend on multiple players' joint actions and (b) the computational complexity increases. We present the most common multiagent problem representations and their main challenges, and identify five research areas that address one or more of these challenges: centralised training and decentralised execution, opponent modelling, communication, efficient coordination, and reward shaping. We find that many computational studies rely on unrealistic assumptions or are not generalisable to other settings; they struggle to overcome the curse of dimensionality or nonstationarity. Approaches from psychology and sociology capture promising relevant behaviours, such as communication and coordination, to help agents achieve better performance in multiagent settings. We suggest that, for multiagent reinforcement learning to be successful, future research should address these challenges with an interdisciplinary approach to open up new possibilities in multiagent reinforcement learning.

研究动机与目标

• 识别并分类深度多智能体强化学习（DMARL）中的主要挑战，包括非平稳性、部分可观测性和高维状态-动作空间。
• 审视DMARL中的现有研究方法，并评估其在不同环境中的泛化能力和可扩展性的局限性。
• 提出五个关键研究方向——集中训练分散执行、对手建模、通信、协调和奖励塑形——作为解决核心DMARL挑战的方案。
• 主张采用跨学科方法，整合心理学、社会学和进化算法，以提升智能体的推理能力、学习效率和现实世界适用性。
• 通过揭示当前方法中的空白，特别是其对不切实际假设的依赖以及在不同环境间泛化能力差的问题，为未来研究提供指导。

提出的方法

• 基于多智能体问题形式化中的固有挑战，而非算法类型，提出DMARL研究的分类体系。
• 将现有DMARL方法归类至五个核心研究领域：集中训练分散执行（CTDE）、对手建模、通信、协调和奖励塑形。
• 分析基于值函数和基于策略的深度强化学习技术，包括其在《星际争霸》和《夺旗》等复杂环境中的应用。
• 借鉴心理学概念，如有限理性、启发式方法、内在动机和认知决策机制，以指导智能体设计，并提升稀疏奖励环境下的学习效率。
• 整合社会学关于协调与沟通的洞见，以建模超越博弈论假设的现实智能体交互。
• 采用系统性文献综述方法，从arXiv、期刊、会议和博士论文中选取资料，依据相关性、方法严谨性和泛化能力评估研究。

实验结果

研究问题

• RQ1 深度多智能体强化学习中的主要挑战是什么，特别是关于非平稳性、部分可观测性和维度灾难？
• RQ2 当前的DMARL方法——尤其是基于深度学习的方法——在现实环境中如何应对或未能应对这些挑战？
• RQ3 现有方法在多大程度上依赖不切实际的假设，或在不同多智能体设置中缺乏泛化能力？
• RQ4 心理学和社会学的洞见如何改善多智能体强化学习系统的架构与性能？
• RQ5 跨学科方法（如进化算法和认知建模）在推动稳健且可扩展的DMARL方面可发挥何种作用？

主要发现

• 许多当前的DMARL研究依赖于过于简单或不切实际的假设，限制了其泛化能力和现实世界适用性。
• 维度灾难和非平稳性仍是重大障碍，尤其在部分可观测和大规模多智能体环境中。
• 集中训练分散执行（CTDE）在《星际争霸》和《夺旗》等复杂游戏中表现出色，证明其在处理联合动作依赖性方面的有效性。
• 心理学概念如有限理性和启发式方法，为提升智能体决策效率和降低认知负荷提供了有前景的路径。
• 引入内在动机和创造性探索机制，可增强在传统方法失效的稀疏奖励环境中的学习能力。
• 跨学科整合——尤其是心理学与社会学的融入——有助于建模类人的协调、沟通与推理，从而提升多智能体系统的鲁棒性与可解释性。