[论文解读] From Multi-agent to Multi-robot: A Scalable Training and Evaluation Platform for Multi-robot Reinforcement Learning

Zhiuxan Liang, Jiannong Cao+4 more|arXiv (Cornell University)|Jun 20, 2022

Traffic control and management被引用 5

一句话总结

本文提出SMART，一个可扩展的多智能体强化学习（MRRL）平台，整合了真实的仿真环境与真实世界中的多智能体测试平台。该平台支持通过MRRL友好的API进行训练，并在仿真与物理环境中评估策略，揭示了在车道汇入等协作任务中仿真与现实之间的关键差距。

ABSTRACT

Multi-agent reinforcement learning (MARL) has been gaining extensive attention from academia and industries in the past few decades. One of the fundamental problems in MARL is how to evaluate different approaches comprehensively. Most existing MARL methods are evaluated in either video games or simplistic simulated scenarios. It remains unknown how these methods perform in real-world scenarios, especially multi-robot systems. This paper introduces a scalable emulation platform for multi-robot reinforcement learning (MRRL) called SMART to meet this need. Precisely, SMART consists of two components: 1) a simulation environment that provides a variety of complex interaction scenarios for training and 2) a real-world multi-robot system for realistic performance evaluation. Besides, SMART offers agent-environment APIs that are plug-and-play for algorithm implementation. To illustrate the practicality of our platform, we conduct a case study on the cooperative driving lane change scenario. Building off the case study, we summarize several unique challenges of MRRL, which are rarely considered previously. Finally, we open-source the simulation environments, associated benchmark tasks, and state-of-the-art baselines to encourage and empower MRRL research.

研究动机与目标

• 解决真实场景中多智能体强化学习（MRRL）缺乏综合评估框架的问题。
• 通过提供兼具仿真与物理测试平台的双平台系统，弥合基于仿真的训练与真实世界部署之间的差距。
• 通过标准化的智能体-环境API，实现MARL算法的即插即用式部署。
• 通过合作车道变道的案例研究，探究将深度强化学习应用于真实多智能体系统时面临的真实挑战。
• 开源仿真环境、基准任务与最先进基线，以加速MRRL研究。

提出的方法

• 设计一个包含多样化、复杂多智能体交互场景的仿真环境，涵盖自动驾驶与协作车道变道等场景。
• 实现一个与仿真场景相匹配的真实世界多智能体系统，以实现对性能的真实评估。
• 开发智能体-环境API，支持MARL算法的即插即用集成，确保与常见强化学习框架的兼容性。
• 使用Gazebo和ROS等工具集成基于物理的仿真，以确保动力学与传感器建模的真实性。
• 将最先进MARL算法（如MADDPG、MAPPO）扩展至多智能体场景，并在仿真与真实世界环境中进行评估。
• 以协作驾驶车道变道场景作为案例研究，分析仿真与现实之间性能差异。

实验结果

研究问题

• RQ1 在仿真环境中训练的MARL算法在真实多智能体系统上部署时表现如何？
• RQ2 在标准仿真环境中未被捕捉到的真实世界多智能体系统中应用深度强化学习时，关键挑战是什么？
• RQ3 仿真环境的真实性在多大程度上影响了训练策略向真实机器人迁移的能力？
• RQ4 统一平台如何同时支持MRRL算法的可扩展训练与可靠的现实世界评估？
• RQ5 构建可扩展、可扩展且实用的MRRL平台时，哪些系统级设计选择至关重要？

主要发现

• SMART平台成功实现了在真实仿真环境中训练MRRL策略，并在真实世界多智能体测试平台上进行评估。
• 仿真环境与真实世界环境之间存在显著的性能差距，尤其是在感知、动作执行与环境动力学方面。
• 真实世界部署揭示了传感器噪声、执行器延迟与状态估计不准确等挑战，这些在仿真中通常被过度简化。
• 案例研究表明，仿真中训练的策略需要微调才能在真实世界协作车道变道任务中实现可靠性能。
• 平台的模块化设计与标准化API实现了多种最先进MARL算法的无缝集成与评估。
• 作者确认，开源仿真环境、基准任务与基线显著降低了MRRL研究的入门门槛。