[論文レビュー] Learning for Multi-robot Cooperation in Partially Observable Stochastic Environments with Macro-actions

Miao Liu, Kavinayan Sivakumar+3 more|arXiv (Cornell University)|Jul 24, 2017

Reinforcement Learning in Robotics参考文献 9被引用数 4

ひとこと要約

本論文では、部分的に観測可能な確率的環境における多ロボット協調のためのマクロアクション有限状態制御装置（FSC）を、トレーリングデータのみを用いて学習する反復的サンプリングベースの期待値最大化（EM）アルゴリズム、iSEMを提案する。動的リソース再割り当てを併用した並列EM反復により、PoEMなどの先行手法が抱える局所収束問題を克服し、ヒューリスティックなシミュレーションおよびハードウェアベースの捜索救助タスクにおいて優れた性能を達成した。

ABSTRACT

This paper presents a data-driven approach for multi-robot coordination in partially-observable domains based on Decentralized Partially Observable Markov Decision Processes (Dec-POMDPs) and macro-actions (MAs). Dec-POMDPs provide a general framework for cooperative sequential decision making under uncertainty and MAs allow temporally extended and asynchronous action execution. To date, most methods assume the underlying Dec-POMDP model is known a priori or a full simulator is available during planning time. Previous methods which aim to address these issues suffer from local optimality and sensitivity to initial conditions. Additionally, few hardware demonstrations involving a large team of heterogeneous robots and with long planning horizons exist. This work addresses these gaps by proposing an iterative sampling based Expectation-Maximization algorithm (iSEM) to learn polices using only trajectory data containing observations, MAs, and rewards. Our experiments show the algorithm is able to achieve better solution quality than the state-of-the-art learning-based methods. We implement two variants of multi-robot Search and Rescue (SAR) domains (with and without obstacles) on hardware to demonstrate the learned policies can effectively control a team of distributed robots to cooperate in a partially observable stochastic environment.

研究の動機と目的

• 部分的に観測可能な確率的環境において、モデルが未知の状況で、強力でスケーラブルな学習ベースの多ロボット協調手法の欠如に取り組むこと。
• 複雑な現実世界の領域において、PoEMのような既存の強化学習手法が抱える局所最適性および初期化への感受性を克服すること。
• 完全なシミュレータやDec-POMDPモデルに関する事前知識が不要な状況で、トレーリングデータからの有効な学習を可能にすること。
• 長時間計画ホライズンにわたり、異種ロボット（UGVおよびUAV）を含む大規模チームを用いたハードウェア上での学習ポリシーの実現可能性と有効性を実証すること。
• 提案手法が、複雑な捜索救助シナリオにおいて、最先端の学習ベースの手法よりも高い期待報酬を達成できることを検証すること。

提案手法

• iSEMは、観測値、マクロアクション、報酬を含むトレーリングデータから、MacDec-POMDPにおけるマクロアクション用の有限状態制御装置（FSC）を、反復的サンプリングベースの期待値最大化フレームワークを用いて学習する。
• アルゴリズムは、収束が悪い解に到達するスレッドに対してフィードバックを共有し、動的リソース再割り当てを実施する並列（マルチスレッド）EM反復を採用する。
• 他のスレッドからのフィードバックに基づいたポリシーパラメータの再サンプリングを導入し、ポリシー空間の探索を向上させ、局所最適解を回避する。
• バッチ学習設定に適した方法であり、長時間計画ホライズンを持つ大規模・複雑なドメインへのスケーラビリティを設計している。
• iSEMは、地上および空中車両を含む多ロボット捜索救助ドメインを用いて、シミュレーションおよびハードウェア実験の両方で評価されている。
• モーショントラッキングシステムとプロジェクションベースの可視化を備えたカスタムシミュレーション環境を用い、ポリシー性能の検証とデモンストレーションが行われた。

実験結果

リサーチクエスチョン

• RQ1 既知のモデルや完全なシミュレータがなくても、EMベースの学習アルゴリズムが部分的に観測可能な確率的環境で高品質な多ロボットポリシーを効果的に学習できるか。
• RQ2 動的リソース割り当てを併用した並列EM反復は、PoEMのような標準的なEMベース手法と比較して、収束性および解の質をどのように改善するか。
• RQ3 提案手法は、異種ロボットおよび長時間計画ホライズンを含む実世界のハードウェア展開に一般化可能か。
• RQ4 複雑な捜索救助シナリオにおいて、iSEMは期待報酬およびロバストネスの観点で、最先端の学習ベースの手法をどの程度上回るか。
• RQ5 ポリシーの初期化およびサンプリング戦略が、実世界のロボットタスクにおける学習アルゴリズムの収束性および性能に及ぼす影響は何か。

主な発見

• iSEMは、長時間計画ホライズンを持つ大規模な多ロボット捜索救助ドメインにおいて、最先端手法PoEMを上回る高い期待報酬を達成した。
• 少ないデモンストレーションで優れた性能を示し、複雑な協調ポリシーを学習する際の高いサンプル効率を示した。
• Duckiebots（UGV）とDJI F330クアッドコプタ（UAV）からなるチームを用いたハードウェア実験では、iSEMポリシーが大多数の試行で全被災者を救助した。初期健康状態が極めて低い被災者が複数存在するケースでは、1名の被災者を失ったが、全体として優れた性能を示した。
• 被災者の初期健康状態が深刻に低い場合を除き、ポリシーは全被災者を一貫して救助した。これは、通信制限や衝突回避といった現実の制約下でもロバストであることを確認した。
• フィードバック共有と動的リソース再割り当てを併用した並列EMスレッドにより、ポリシー空間の探索が向上し、初期化への感受性が低減され、劣悪な局所最適解を回避できた。
• ハードウェア実験の動画デモンストレーションにより、学習済みポリシーが部分的に観測可能な確率的環境において、分散型ロボット間の効果的な協力を可能にすることが確認され、本手法の実世界応用可能性が検証された。