[論文レビュー] Towards Optimally Decentralized Multi-Robot Collision Avoidance via Deep Reinforcement Learning

Pinxin Long, Tingxiang Fan+4 more|arXiv (Cornell University)|Sep 28, 2017

Reinforcement Learning in Robotics参考文献 21被引用数 34

ひとこと要約

本論文は、マルチロボットシステムの完全分散型センサーレベル衝突回避ポリシーを学習するためのマルチシナリオ・マルチステージの深層強化学習フレームワークを提案する。生のLiDARに類似したセンサ入力を直接ステアリング命令にマッピングすることで、100台のロボットを含む複雑で大規模なシナリオや異種チームを含む状況においても高い成功確率と効率的なナビゲーションを達成し、学習分布を超えた強力な一般化性能を示した。

ABSTRACT

Developing a safe and efficient collision avoidance policy for multiple robots is challenging in the decentralized scenarios where each robot generate its paths without observing other robots' states and intents. While other distributed multi-robot collision avoidance systems exist, they often require extracting agent-level features to plan a local collision-free action, which can be computationally prohibitive and not robust. More importantly, in practice the performance of these methods are much lower than their centralized counterparts. We present a decentralized sensor-level collision avoidance policy for multi-robot systems, which directly maps raw sensor measurements to an agent's steering commands in terms of movement velocity. As a first step toward reducing the performance gap between decentralized and centralized methods, we present a multi-scenario multi-stage training framework to find an optimal policy which is trained over a large number of robots on rich, complex environments simultaneously using a policy gradient based reinforcement learning algorithm. We validate the learned sensor-level collision avoidance policy in a variety of simulated scenarios with thorough performance evaluations and show that the final learned policy is able to find time efficient, collision-free paths for a large-scale robot system. We also demonstrate that the learned policy can be well generalized to new scenarios that do not appear in the entire training period, including navigating a heterogeneous group of robots and a large-scale scenario with 100 robots. Videos are available at https://sites.google.com/view/drlmaca

研究の動機と目的

• 集中型と分散型のマルチロボット衝突回避のパフォーマンスギャップを解消するため、グローバル状態や通信に依存しないセンサーレベルのポリシーを開発すること。
• チューニングに敏感であること、完全なセンシングを必要とすること、スケーラビリティに劣ることなどのエージェントレベル手法の制限を克服すること。
• 微調整なしに、未観測のシナリオ、特に異種ロボットや大規模システム（例：100台）にまで強固に一般化できることを実現すること。
• 多様な環境とマルチステージ学習を組み合わせたトレーニングフレームワークを設計し、ポリシーのロバスト性と効率性を向上させること。

提案手法

• 生のセンサ測定値（例：LiDARスキャン）を直接速度命令にマッピングする深層強化学習ポリシーを、ポリシー勾配アルゴリズムを用いて学習させ、明示的な状態推定を回避する。
• 2段階のトレーニングフレームワークを実装：第1段階では1つのランダムシナリオで基本的な衝突回避を学習し、第2段階では複数の複雑で多様なシナリオで微調整することでロバスト性を向上させる。
• マルチシナリオ・マルチステージのカリキュラムを活用して一般化を強化し、第2段階のポリシーは通路、グループ通過、障害物が豊富な環境を含む広範な環境分布で訓練する。
• 全ロボットに共通のポリシーを採用することで、明示的な調整や通信なしに一貫性があり協調的な行動を実現する。
• セグメンテーションやトラッキング、認識パイプラインを必要とせず、生のセンサ入力を統合することで、計算負荷と認識の不確実性を低減する。
• トレーニング中に密度・疎らかさ・形状を考慮した報酬関数を用いて、成功確率とナビゲーション効率（時間と距離）の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習により学習された完全分散型センサーレベルの衝突回避ポリシーは、複雑で大規模なマルチロボットシナリオにおいて、集中型手法と同等のパフォーマンスを達成できるか？
• RQ2 マルチシナリオ・マルチステージのトレーニングは、未観測の環境やロボット構成に一般化する分散型衝突回避ポリシーの性能をどのように向上させるか？
• RQ3 同種ロボットで学習したポリシーは、異種ロボットチームや固定速度で移動する非協力的エージェントにまでどの程度一般化できるか？
• RQ4 障害物がある細い通路のような密集・制限された環境では、グローバルプランナーや障害物マップに依存するエージェントレベル手法が失敗するが、提案手法はそのような環境を効果的にナビゲートできるか？

主な発見

• 第2段階のポリシーは、100台のロボットが反対側に移動するランダムシナリオで98％の成功率を達成し、スケーラビリティとロバスト性を示した。
• 微調整なしに異種ロボットチーム（例：円形と長方形のロボットが混在）に対しても効果的に一般化され、衝突のないナビゲーションが実現した。
• 障害物のある通路シナリオでは、第2段階のポリシーのみがタスクを完了したのに対し、NH-ORCAはグローバルパスプランナーや障害物マップに依存していたため失敗した。
• グループ通過およびスワップシナリオにおいて、第2段階のポリシーはNH-ORCAに比べて平均余分時間で40％、余分距離で30％削減し、優れた協調性と効率性を示した。
• 非協力的状況でも高いパフォーマンスを維持し、学習分布外の高速で直線的に移動する長方形形状のロボットを効果的に回避できた。
• マルチシナリオトレーニングフレームワークは過学習を顕著に低減させ、一般化性能を向上させたことが裏付けられており、第2段階のポリシーが多様で複雑な環境で第1段階のポリシーを上回った。