[論文レビュー] The Holy Grail of Multi-Robot Planning: Learning to Generate Online-Scalable Solutions from Offline-Optimal Experts

Amanda Prorok, Jan Blumenkamp+4 more|arXiv (Cornell University)|Jul 26, 2021

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文では、模倣学習を用いてオフラインで最適なマルチロボット計画を、オンラインでスケーラブルで分散型のポリシーに蒸留する学習ベースのフレームワークを提案する。中央集権的最適エキスパート（例：Conflict-Based Searchを用いる）の行動を模倣するようにポリシーを訓練することで、大規模システムにおいてほぼ最適な性能を達成した—200×200のマップに1,000台のロボットを用いた実験で80%の成功を達成し、エキスパートに比べて計算量を1/30に削減した。同時に、シミュレーションから実世界への転送と通信の耐障害性の課題にも対処した。

ABSTRACT

Many multi-robot planning problems are burdened by the curse of dimensionality, which compounds the difficulty of applying solutions to large-scale problem instances. The use of learning-based methods in multi-robot planning holds great promise as it enables us to offload the online computational burden of expensive, yet optimal solvers, to an offline learning procedure. Simply put, the idea is to train a policy to copy an optimal pattern generated by a small-scale system, and then transfer that policy to much larger systems, in the hope that the learned strategy scales, while maintaining near-optimal performance. Yet, a number of issues impede us from leveraging this idea to its full potential. This blue-sky paper elaborates some of the key challenges that remain.

研究の動機と目的

• 小規模な集中型プランナから大規模な分散型システムへの最適解の転送により、マルチロボット計画におけるスケーラビリティのギャップを解消すること。
• 共同状態-行動空間の次元の呪いを克服するため、オフライン学習を活用してオンライン計算をオフロードすること。
• 実世界への展開を可能にするために、耐障害性のある通信とリアリティに配慮した訓練により、シミュレーションから実世界へのギャップを埋めること。
• 集中型の最適性と分散型実行を組み合わせた、最適性とスケーラビリティのバランスが取れたフレームワークの構築。
• 構造的なデータ生成と通信学習を用いて、スケールや部分観測性の下でもポリシーの汎化を実現すること。

提案手法

• 小規模なロボットチーム向けに、高品質で衝突のない軌道を生成するため、集中型最適プランナ（例：Conflict-Based Search）を用いる。
• 模倣学習により分散型ポリシーを訓練し、エキスパートの共同行動を模倣することで、グローバルな性能を維持しつつ局所的な実行を可能にする。
• 部分観測性に対処し、完全な状態情報が得られない状況でも協調を向上させるために、ポリシーに通信戦略を統合する。
• メッセージ遅延、欠落、非同期通信に対する耐障害性を高めるために、ドメインランダマイゼーションと現実的なネットワークシミュレーションを適用する。
• シミュレーションから実世界への転送を改善するため、実世界からシミュレーションへの適応とフェデレーテッドラーニングを用いる。
• 環境のスケールを段階的に拡大（例：20×20から200×200のマップ）することで、トレーニングスケールを超えたスケーラビリティと汎化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 小規模で集中型の最適計画に基づいて学習した分散型ポリシーは、大規模なマルチロボットシステムに一般化可能であり、ほぼ最適な性能を維持できるか？
• RQ2 部分観測性下で効果的に通信を学習することは、分散型マルチロボットシステムにおける協調を維持するために可能か？
• RQ3 マルチロボットシステムにおけるシミュレーションから実世界への転送において、主な失敗モードは何か。特に、通信遅延や非同期実行に関連して。
• RQ4 オフラインで最適なエキスパートから模倣学習を行うことで、従来の分散型または強化学習ベースのベースラインに比べて、大規模な協調タスクでどれほど優れた性能を達成できるか？
• RQ5 シミュレーション設計と訓練戦略を工夫することで、マルチロボットのシミュレーションから実世界へのギャップをどの程度軽減できるか？

主な発見

• 20×20マップに10台のロボットで学習したポリシーは、200×200マップに1,000台のロボットを用いた環境に展開した際、80%以上の成功率を達成し、優れたスケーラビリティを示した。
• 学習されたポリシーは、集中型エキスパートに比べて計算時間の1/30にまで削減され、オンラインでのスケーラビリティが確認された。
• 本手法は、分散型マルチエージェント経路計画において96%以上の成功率を達成し、先行する学習ベースの手法を上回った。
• 予備的な結果では、小規模で部分観測可能な環境で学習した局所的協調パターンが、大規模で構造的な環境へと一般化可能であることが示唆された。
• ドメインランダマイゼーションと現実的なシミュレーションにより、通信遅延やメッセージ欠落に対する耐障害性が向上したが、最適でないポリシーが生成される可能性もあった。
• 模倣学習に通信学習を統合することで、部分観測性下でも集中型最適性に近い性能を維持できる分散型ポリシーの実現が可能になった。