[論文レビュー] Multi-Objective Policy Generation for Multi-Robot Systems Using Riemannian Motion Policies

Anqi Li, Mustafa Mukadam+2 more|arXiv (Cornell University)|Feb 14, 2019

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、タスク固有の多様体上に部分タスクコントローラーを定義することにより、リーマン運動方策（RMP）に基づくフレームワークを提案し、中央集権的および分散型のRMPflowアルゴリズムを通じて安定で協調的な行動を実現する。この手法はシステムの安定性を保証し、複雑な相互作用を処理でき、既存のコントローラーを近似しつつ、シミュレーションおよび実ロボット実験において、編隊維持、衝突回避、循環的追跡を実現する。

ABSTRACT

In many applications, multi-robot systems are required to achieve multiple objectives. For these multi-objective tasks, it is oftentimes hard to design a single control policy that fulfills all the objectives simultaneously. In this paper, we focus on multi-objective tasks that can be decomposed into a set of simple subtasks. Controllers for these subtasks are individually designed and then combined into a control policy for the entire team. One significant feature of our work is that the subtask controllers are designed along with their underlying manifolds. When a controller is combined with other controllers, their associated manifolds are also taken into account. This formulation yields a policy generation framework for multi-robot systems that can combine controllers for a variety of objectives while implicitly handling the interaction among robots and subtasks. To describe controllers on manifolds, we adopt Riemannian Motion Policies (RMPs), and propose a collection of RMPs for common multi-robot subtasks. Centralized and decentralized algorithms are designed to combine these RMPs into a final control policy. Theoretical analysis shows that the system under the control policy is stable. Moreover, we prove that many existing multi-robot controllers can be closely approximated by the framework. The proposed algorithms are validated through both simulated tasks and robotic implementations.

研究の動機と目的

• 複数の目的を同時に遂行する多ロボットシステムに対して、安定で協調的な制御方策を設計する課題に対処すること。
• 高次元の配置空間ではなく、内在的な多様体上に部分タスク行動を定義することにより、統合コントローラーにおける不安定性や衝突を克服すること。
• 編隊制御、衝突回避、循環的追跡などの多様な多ロボット行動を表現・統合できる汎用性の高いフレームワークを開発すること。
• 中央集権的および分散型のRMPに基づく制御方策に対して、理論的安定性保証を提供すること。
• 複雑な多目的タスクにおいて、シミュレーションおよび実ロボットデプロイメントを通じてフレームワークを検証すること。

提案手法

• 各部分タスク（例：編隊、目的位置到達、衝突回避）のコントローラーを、それらの目的に関連する低次元の多様体上に定義し、リーマン幾何学を活用する。
• 各部分タスクコントローラーをリーマン運動方策（RMP）で符号化し、状態依存の重みおよび行列値のフィードバックを用いて幾何的一致性を確保する。
• 中央集権的RMPflowフレームワークは、リーマン勾配およびヘッセ行列を再帰的に計算することでRMPを統合し、複数のコントローラーの安定な集約を保証する。
• 分散型部分RMPflowアルゴリズムを提案し、各ロボットが局所的情報を用いて自らの制御方策を計算することで、スケーラビリティを実現する。
• リーマン計量を用いて部分タスクの相対的重要性を符号化することで、自然な優先順位付けと衝突解消が可能になる。
• GDS（勾配駆動系）を用いて減衰行動を定義し、ロボットが目的位置に正確に停止できるようにする。

実験結果

リサーチクエスチョン

• RQ1 部分タスクコントローラーをユーリッド配置空間ではなく、内在的な多様体上に定義することにより、多目的多ロボット制御を安定化させることができるか？
• RQ2 リーマン運動方策を用いて複数の部分タスクコントローラーを統合する方法は、安定性を保ちつつ衝突を回避できるか？
• RQ3 既存の多ロボットコントローラー（例：編隊制御、循環的追跡、衝突回避）の多くが、このフレームワーク内でどれほど正確に近似可能か？
• RQ4 中央集権的および分散型RMPflowアルゴリズムの理論的安定性特性は、多ロボットシステムにおいてどのように評価できるか？
• RQ5 このフレームワークは、実ロボットに効果的にデプロイ可能であり、複雑な多目的行動を達成できるか？

主な発見

• 中央集権的RMPflowフレームワークは、五角形と正方形の2つのサブチームの編隊維持に成功し、2つの目的間を衝突を避けて往復移動を実現した。ロボット同士が互いを回り込むことで、衝突を回避した。
• 分散型実験では、5台のロボットが1mの半径の円周上を循環的追跡を実行し、他の3台のロボットが円内を通過しても衝突を起こさなかった。これにより、ロバストネスとスケーラビリティが確認された。
• 両方のシミュレーションおよび実ロボットデプロイメントにおいて、安定な収束と完全な協調性が達成され、不安定性やコントローラーの衝突は観測されなかった。
• 理論的解析により、RMPflowフレームワークが生成する制御方策が、中央集権的および分散型構成の両方において、多ロボットシステムの漸近的安定性を保証することが証明された。
• このフレームワークは、編隊制御、目的位置到達、衝突回避などの既存のポテンシャルベースの多ロボットコントローラーを、広範囲にわたって高精度で近似可能である。
• 多様体の使用により、低次元で解釈可能な制御設計が可能になり、同時に複数の目的間の複雑な相互作用を解消するのに十分な自由度を維持した。