[论文解读] Multi-Objective Policy Generation for Multi-Robot Systems Using Riemannian Motion Policies

Anqi Li, Mustafa Mukadam+2 more|arXiv (Cornell University)|Feb 14, 2019

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种基于黎曼运动策略（Riemannian Motion Policy, RMP）的框架，通过在任务相关的流形上定义子任务控制器，实现多目标多机器人控制的稳定协调行为，采用集中式与分布式RMPflow算法。该方法确保系统稳定性，处理复杂交互，并近似现有控制器，同时在仿真和真实机器人实验中实现了队形保持、碰撞避免及循环追击等行为。

ABSTRACT

In many applications, multi-robot systems are required to achieve multiple objectives. For these multi-objective tasks, it is oftentimes hard to design a single control policy that fulfills all the objectives simultaneously. In this paper, we focus on multi-objective tasks that can be decomposed into a set of simple subtasks. Controllers for these subtasks are individually designed and then combined into a control policy for the entire team. One significant feature of our work is that the subtask controllers are designed along with their underlying manifolds. When a controller is combined with other controllers, their associated manifolds are also taken into account. This formulation yields a policy generation framework for multi-robot systems that can combine controllers for a variety of objectives while implicitly handling the interaction among robots and subtasks. To describe controllers on manifolds, we adopt Riemannian Motion Policies (RMPs), and propose a collection of RMPs for common multi-robot subtasks. Centralized and decentralized algorithms are designed to combine these RMPs into a final control policy. Theoretical analysis shows that the system under the control policy is stable. Moreover, we prove that many existing multi-robot controllers can be closely approximated by the framework. The proposed algorithms are validated through both simulated tasks and robotic implementations.

研究动机与目标

• 解决多机器人系统在同时执行多个目标时设计稳定协调控制策略的挑战。
• 通过在内在流形上而非高维配置空间中定义子任务行为，克服组合控制器的不稳定与冲突问题。
• 开发一种可推广的框架，能够表示并组合多样化的多机器人行为，如队形控制、碰撞避免和循环追击。
• 为集中式与分布式基于RMP的控制策略提供理论稳定性保证。
• 通过仿真与真实机器人部署，在复杂多目标任务中验证该框架的有效性。

提出的方法

• 在与目标相关的低维流形上定义单个子任务（如队形、目标追踪、碰撞避免）的控制器，利用黎曼几何特性。
• 使用黎曼运动策略（RMP）编码每个子任务控制器，采用状态相关权重与矩阵值反馈以保证几何一致性。
• 集中式RMPflow框架通过递归计算黎曼梯度与海色矩阵，实现多个控制器的稳定聚合。
• 提出一种分布式部分RMPflow算法，每个机器人仅使用本地信息计算自身控制策略，提升可扩展性。
• 利用黎曼度量编码子任务的相对重要性，实现自然的优先级排序与冲突消解。
• 采用GDS（梯度驱动系统）定义阻尼行为，使机器人能够精确停靠在目标位置。

实验结果

研究问题

• RQ1 通过在内在流形上而非欧几里得配置空间中定义子任务控制器，能否实现多目标多机器人控制的稳定？
• RQ2 黎曼运动策略如何在保持稳定性并避免冲突的前提下组合多个子任务控制器？
• RQ3 该框架在多大程度上能够近似现有多种多机器人控制器（如队形控制、循环追击、碰撞避免）？
• RQ4 集中式与分布式RMPflow算法在多机器人系统中的理论稳定性特性如何？
• RQ5 该框架能否在真实机器人上有效部署，以实现复杂的多目标行为？

主要发现

• 在集中式实验中，RMPflow框架成功维持了两个子团队（五边形与正方形）的队形，同时实现两个目标之间的无碰撞往返运动，机器人通过相互旋转避让冲突。
• 在分布式实验中，五台机器人在半径1米的圆周上成功执行循环追击，另有三台机器人无碰撞穿越圆心区域，展示了系统的鲁棒性与可扩展性。
• 系统在仿真与真实机器人部署中均实现了稳定收敛与完全协调，未观察到不稳定现象或控制器冲突。
• 理论分析证明，RMPflow框架生成的控制策略在集中式与分布式配置下均能保证多机器人系统的渐近稳定性。
• 该框架能够紧密近似广泛存在的基于势能的多机器人控制器，包括队形控制、目标追踪与碰撞避免等。
• 使用流形使得控制设计维度更低、更易理解，同时保留足够的自由度以解决多项目标间的复杂交互。