[論文レビュー] Learning a Decentralized Multi-Arm Motion Planner

Huy Ha, Jingxi Xu+1 more|arXiv (Cornell University)|Jan 1, 2020

Robot Manipulation and Learning被引用数 3

ひとこと要約

本論文は、BiRRTからのエキスパートデモを用いたソフトアクタクリティカルとマルチエージェント強化学習を用いて、分散型でクローズドループのマルチアーム運動計画法を提案する。静的ターゲットでの訓練のみを経て、5〜10アームの動的環境でも90%以上の成功確率を達成し、スケーリングが非線形的（サブラインアー）であることを実証した。

ABSTRACT

We present a closed-loop multi-arm motion planner that is scalable and flexible with team size. Traditional multi-arm robot systems have relied on centralized motion planners, whose runtimes often scale exponentially with team size, and thus, fail to handle dynamic environments with open-loop control. In this paper, we tackle this problem with multi-agent reinforcement learning, where a decentralized policy is trained to control one robot arm in the multi-arm system to reach its target end-effector pose given observations of its workspace state and target end-effector pose. The policy is trained using Soft Actor-Critic with expert demonstrations from a sampling-based motion planning algorithm (i.e., BiRRT). By leveraging classical planning algorithms, we can improve the learning efficiency of the reinforcement learning algorithm while retaining the fast inference time of neural networks. The resulting policy scales sub-linearly and can be deployed on multi-arm systems with variable team sizes. Thanks to the closed-loop and decentralized formulation, our approach generalizes to 5-10 multi-arm systems and dynamic moving targets (>90% success rate for a 10-arm system), despite being trained on only 1-4 arm planning tasks with static targets. Code and data links can be found at this https URL.

研究の動機と目的

• チームサイズの増加に伴い指数関数的にスケーリングする中央集権的運動計画法のスケーラビリティ制限を解消すること。
• オープンループ制御に代えてクローズドループで分散型のポリシーを採用することで、動的環境における高速でリアルタイムの運動計画を実現すること。
• 古典的サンプリングベースのプランナ（例：BiRRT）からのエキスパートデモを統合することで、強化学習のサンプル効率と学習安定性を向上させること。
• 異なるチームサイズや動的ターゲット条件に一般化可能なスケーラブルで柔軟なフレームワークを構築すること。
• 各設定に対して再訓練を必要とせず、複雑なマルチアームシナリオにおいても高い成功確率を達成すること。

提案手法

• 個々のロボットアームを、ワークスペース状態とターゲットエンドエフェクターポーズの局所的観測に基づいて制御する分散型ポリシーを、ソフトアクタクリティカル（SAC）を用いて学習する。
• エキスパートデモは、サンプリングベースの運動計画法であるBiRRTを用いて生成され、強化学習のプロセスをガイドする。
• ポリシーは静的ターゲットを用いた1〜4アームシステムでの訓練を経て、5〜10アームシステムおよび動的ターゲットにも一般化可能である。これは、クローズドループで分散型の設計によるものである。
• 観測空間には、局所的なワークスペース状態とターゲットポーズが含まれ、各エージェントが自らの認識に基づいて独立して行動可能である。
• 古典的プランナ（BiRRT）をデータソースとして用いることで、サンプル効率が向上し、トレーニング中にも実行可能な軌道が保証される。
• 得られたポリシーは、チームサイズに伴う実行時間のサブラインアーなスケーリングを実現し、大規模マルチアームシステムにおけるリアルタイムデプロイメントを可能にする。

実験結果

リサーチクエスチョン

• RQ1 1〜4アームシステムで静的ターゲットを用いて訓練された分散型でクローズドループの運動計画法が、5〜10アームの大きなシステムに一般化可能か？
• RQ2 静的ターゲットでのみ訓練されたにもかかわらず、動的ターゲットを伴う動的環境下での性能はどの程度か？
• RQ3 古典的プランナからのエキスパートデモと強化学習を組み合わせることで、サンプル効率と最終的なパフォーマンスが向上するか？
• RQ4 チームサイズの増加に伴い、実行時間の指数的増加を回避するサブラインアーなスケーリングが可能か？
• RQ5 変動するチームサイズと動的ターゲットを伴う複雑でごみだらけの環境下でのポリシーの成功確率はいかほどか？

主な発見

• 提案された計画法は、静的ターゲットでの訓練のみを経て、動的移動ターゲットを伴う10アームシステムでも90%以上の成功確率を達成した。
• チームサイズに伴う実行時間のサブラインアーなスケーリングが実現され、大規模マルチアームシステムにおける効率的なリアルタイム計画が可能になった。
• 再トレーニングを必要とせず、クローズドループで分散型のポリシー構造のおかげで、大規模チームや動的ターゲットへの一般化が達成された。
• BiRRTが生成したエキスパートデモの統合により、学習効率とポリシー性能が顕著に向上した。
• 多様な設定においても高いパフォーマンスを維持し、複雑な環境下での頑健さと柔軟性を示した。
• リアルタイム環境下での動的変化への適応性とスケーラビリティの面で、従来の中央集権的プランナーより優れた性能を示した。