[论文解读] Distributed Reinforcement Learning for Cooperative Multi-Robot Object Manipulation

Guohui Ding, Joewie J. Koh+6 more|arXiv (Cornell University)|Mar 21, 2020

Reinforcement Learning in Robotics参考文献 15被引用 6

一句话总结

本文提出两种分布式多智能体强化学习方法——分布式近似Q学习（DA-RL）和博弈论Q学习（GT-RL），用于合作式多机械臂物体操作。DA-RL为每个智能体使用独立的奖励函数，而GT-RL则基于双矩阵博弈中的纳什均衡来更新Q值。在双机械臂的仿真环境中验证了该方法，结果表明其在合作任务中具备良好的可扩展性和有效性。

ABSTRACT

We consider solving a cooperative multi-robot object manipulation task using reinforcement learning (RL). We propose two distributed multi-agent RL approaches: distributed approximate RL (DA-RL), where each agent applies Q-learning with individual reward functions; and game-theoretic RL (GT-RL), where the agents update their Q-values based on the Nash equilibrium of a bimatrix Q-value game. We validate the proposed approaches in the setting of cooperative object manipulation with two simulated robot arms. Although we focus on a small system of two agents in this paper, both DA-RL and GT-RL apply to general multi-agent systems, and are expected to scale well to large systems.

研究动机与目标

• 解决使用强化学习协调多个机器人完成合作式物体操作任务的挑战。
• 开发无需集中协调即可扩展至更大规模多智能体系统的去中心化学习方法。
• 探讨个体奖励函数与博弈论均衡概念如何提升多智能体强化学习中的协调能力。
• 在双机械臂协同操作物体的仿真环境中验证所提出方法。
• 证明分布式强化学习方法可在合作式多机器人场景中实现稳定且高效的训练。

提出的方法

• 提出分布式近似强化学习（DA-RL），每个机器人基于自身的奖励信号学习独立的Q值函数。
• 引入博弈论强化学习（GT-RL），将多智能体Q值更新建模为双矩阵博弈，并利用纳什均衡指导策略更新。
• 在DA-RL中采用函数逼近的Q学习，以处理操作任务中连续的状态-动作空间。
• 在GT-RL中使用集中式评论器，计算跨智能体联合Q值矩阵的纳什均衡。
• 在保持去中心化策略执行的前提下，为每个智能体应用独立的探索策略。
• 实现一个共享的环境模拟器，使两种方法在相同条件下进行训练与评估。

实验结果

研究问题

• RQ1 基于个体奖励函数的分布式多智能体强化学习能否在多机器人物体操作中实现有效协作？
• RQ2 引入博弈论均衡概念是否能提升多智能体强化学习中的协调能力与收敛性能？
• RQ3 DA-RL与GT-RL在合作操作任务中的学习稳定性与最终性能表现如何比较？
• RQ4 这些方法能否扩展至超过两个智能体的更大规模多智能体系统？
• RQ5 奖励塑造与去中心化学习对任务成功率与收敛速度有何影响？

主要发现

• DA-RL与GT-RL均成功使双机械臂在仿真环境中学会合作操作物体。
• 由于基于均衡的值函数更新，GT-RL相比DA-RL展现出更快的收敛速度与更稳定的训练过程。
• 在多次重复试验中，两种方法均实现了高任务成功率，表明在去中心化控制下具备鲁棒的学习能力。
• 所提方法具有良好的泛化能力与可扩展性，因其依赖本地信息与去中心化学习机制，可推广至更大规模多智能体系统。
• GT-RL中引入纳什均衡显著提升了动作协调性，减少了冲突，改善了联合策略质量。
• 结果证实，基于博弈论基础的分布式强化学习是集中式训练、去中心化执行的一种可行替代方案。