[论文解读] Comparative Evaluation of Multi-Agent Deep Reinforcement Learning Algorithms.

Georgios Papoudakis, Filippos Christianos+2 more|arXiv (Cornell University)|Jun 14, 2020

Reinforcement Learning in Robotics参考文献 48被引用 14

一句话总结

本文在多种环境中评估了三类多智能体深度强化学习（MARL）算法——独立学习者、集中训练解耦智能体以及值分解方法。结果表明，性能高度依赖于环境特性，独立学习者通常优于复杂方法，且所有算法在稀疏奖励环境下均表现不佳。

ABSTRACT

Multi-agent deep reinforcement learning (MARL) suffers from a lack of commonly-used evaluation tasks and criteria, making comparisons between approaches difficult. In this work, we evaluate and compare three different classes of MARL algorithms (independent learners, centralised training with decentralised execution, and value decomposition) in a diverse range of multi-agent learning tasks. Our results show that (1) algorithm performance depends strongly on environment properties and no algorithm learns efficiently across all learning tasks; (2) independent learners often achieve equal or better performance than more complex algorithms; (3) tested algorithms struggle to solve multi-agent tasks with sparse rewards. We report detailed empirical data, including a reliability analysis, and provide insights into the limitations of the tested algorithms.

研究动机与目标

• 为解决多智能体深度强化学习（MARL）中缺乏标准化评估任务和标准的问题。
• 比较三类主要MARL算法类别的性能：独立学习者、集中训练与去中心化执行，以及值分解方法。
• 识别在不同环境特性与奖励结构下，哪类算法表现最佳。
• 提供实证数据与可靠性分析，以实现MARL方法的透明化基准测试。

提出的方法

• 评估三类MARL算法类别：独立学习者、集中训练与去中心化执行、值分解方法。
• 在具有不同程度部分可观测性、信用分配复杂性及奖励稀疏性的多样化多智能体环境中应用这些算法。
• 在不同环境中对学习效率、最终性能与训练稳定性进行实证比较。
• 引入可靠性分析，以评估不同随机种子下结果的一致性。
• 使用标准MARL基准，以确保结果的可重现性与可比性。

实验结果

研究问题

• RQ1 在具有不同特性的多样化多智能体环境中，不同MARL算法类别的表现如何？
• RQ2 集中训练与去中心化执行或值分解方法是否始终优于独立学习者？
• RQ3 稀疏奖励结构如何影响MARL算法的学习性能？
• RQ4 哪类算法在多次训练运行中表现出最高的可靠性与一致性？

主要发现

• 算法性能高度依赖于环境特性，无单一算法在所有任务中均表现优异。
• 独立学习者通常取得与更复杂MARL方法相当或更优的性能，挑战了‘架构复杂度提升性能’的假设。
• 所有测试算法在具有稀疏奖励的多智能体任务中均表现显著不佳，表明在该类条件下信用分配仍为持久性挑战。
• 可靠性分析显示，在复杂或稀疏奖励环境中，不同训练运行间性能不一致，凸显当前MARL方法的不稳定性。