[论文解读] Is multiagent deep reinforcement learning the answer or the question? A brief survey

Pablo Hernández-Leal, Bilal Kartal+1 more|arXiv (Cornell University)|Oct 12, 2018

Reinforcement Learning in Robotics参考文献 232被引用 58

一句话总结

本文综述了多智能体深度强化学习（MDRL），回顾了单智能体强化学习与多智能体学习（MAL）的关键组件，为新研究者提供了实用指南，并对实现与计算挑战进行了批判性分析。本文旨在通过整合现有文献并识别开放的研究方向，统一并推进MDRL领域的发展。

ABSTRACT

Deep reinforcement learning (RL) has achieved outstanding results in recent years. This has led to a dramatic increase in the number of applications and methods. Recent works have explored learning beyond single-agent scenarios and have considered multiagent learning (MAL) scenarios. Initial results report successes in complex multiagent domains, although there are several challenges to be addressed. The primary goal of this article is to provide a clear overview of current multiagent deep reinforcement learning (MDRL) literature. Additionally, we complement the overview with a broader analysis: (i) we revisit previous key components, originally presented in MAL and RL, and highlight how they have been adapted to multiagent deep reinforcement learning settings. (ii) We provide general guidelines to new practitioners in the area: describing lessons learned from MDRL works, pointing to recent benchmarks, and outlining open avenues of research. (iii) We take a more critical tone raising practical challenges of MDRL (e.g., implementation and computational demands). We expect this article will help unify and motivate future research to take advantage of the abundant literature that exists (e.g., RL and MAL) in a joint effort to promote fruitful research in the multiagent community.

研究动机与目标

• 提供当前多智能体深度强化学习（MDRL）文献的全面概述。
• 重新审视并适配单智能体强化学习与多智能体学习（MAL）中的基础组件，以适用于MDRL场景。
• 为新从业者提供实用指南，包括经验教训、近期基准与开放的研究方向。
• 批判性评估MDRL中的实际挑战，如实现复杂性与计算需求。
• 通过整合现有强化学习与MAL知识，推动多智能体社区的联合努力，统一并激励未来研究。

提出的方法

• 系统性地回顾并分类复杂多智能体领域中的近期MDRL工作。
• 将传统强化学习与MAL中的关键组件——如值函数近似、信用分配与策略梯度方法——适配至多智能体深度学习场景。
• 分析MADQN、独立DQN与多智能体演员-critic方法等算法的演进与集成。
• 评估MDRL中使用的基准环境，如Hanabi、StarCraft多智能体挑战与多机器人导航任务。
• 通过批判性分析已发表的MDRL方法，识别出重复的设计模式与实现陷阱。
• 提出一个基于可扩展性、稳定性和样本效率的MDRL方法评估框架。

实验结果

研究问题

• RQ1 核心强化学习与MAL组件如何被适配至多智能体深度强化学习？
• RQ2 在实践中，MDRL系统在实现与扩展方面面临哪些关键挑战？
• RQ3 哪些基准与评估协议最能有效评估MDRL性能？
• RQ4 新从业者能从现有MDRL文献中学到哪些经验教训，以避免常见陷阱？
• RQ5 MDRL领域中哪些最具前景的开放研究方向可能推动可扩展且稳定的多智能体系统发展？

主要发现

• MDRL在复杂多智能体领域已取得成功，但可扩展性与稳定性仍是重大障碍。
• 实现复杂性与高计算需求是MDRL方法广泛采用的主要障碍。
• 近期基准如StarCraft多智能体挑战与Hanabi为评估MDRL算法提供了宝贵的测试平台。
• 独立深度Q网络（DQNs）与多智能体演员-critic方法展现出潜力，但常因策略发散与非平稳性而受挫。
• 缺乏标准化的评估协议，导致不同方法间的比较困难。
• 整合单智能体强化学习与MAL的洞见，对推动稳健且可泛化的MDRL系统至关重要。