[論文レビュー] Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions

Shayegan Omidshafiei, Ali‐akbar Agha‐mohammadi+2 more|arXiv (Cornell University)|Feb 20, 2015

Bayesian Modeling and Causal Inference被引用数 11

ひとこと要約

本稿では、閉ループの信念空間マクロアクション（MA）を用いて、不確実性下での非同期でスケーラブルなマルチロボット計画を可能にする、分散型部分的に観測可能な半マルコフ決定過程（Dec-POSMDP）フレームワークを提案する。この手法は、グラフベースの計画を用いて自動的に強固で時間的に拡張されたMAを生成し、標準のモンテカルロ探索よりも118%高い期待政策値を達成する新規なモンテカルロ探索アルゴリズム（MMCS）を採用している。複雑なパッケージ配達タスクにおいて、大規模問題に対する高品質な解決策を実現する。

ABSTRACT

The focus of this paper is on solving multi-robot planning problems in continuous spaces with partial observability. Decentralized partially observable Markov decision processes (Dec-POMDPs) are general models for multi-robot coordination problems, but representing and solving Dec-POMDPs is often intractable for large problems. To allow for a high-level representation that is natural for multi-robot problems and scalable to large discrete and continuous problems, this paper extends the Dec-POMDP model to the decentralized partially observable semi-Markov decision process (Dec-POSMDP). The Dec-POSMDP formulation allows asynchronous decision-making by the robots, which is crucial in multi-robot domains. We also present an algorithm for solving this Dec-POSMDP which is much more scalable than previous methods since it can incorporate closed-loop belief space macro-actions in planning. These macro-actions are automatically constructed to produce robust solutions. The proposed method's performance is evaluated on a complex multi-robot package delivery problem under uncertainty, showing that our approach can naturally represent multi-robot problems and provide high-quality solutions for large-scale problems.

研究の動機と目的

• 連続的で部分的に観測可能なドメインにおける非同期意思決定を伴う大規模なDec-POMDPの解法の非効率性に対処すること。
• 時間的に拡張されたアクション（マクロアクション）を用いたスケーラブルで高水準のマルチロボット協調問題の表現を可能にすること。
• 非同期で変動する期間を持つマクロアクションをサポートする形式的フレームワーク（Dec-POSMDP）を構築すること。このフレームワークでは、完了時間と成功確率が解析的に特徴付けられている。
• 計算制約下で政策空間を効果的に探索できるように、マクロアクションの特性を活用する効率的な探索アルゴリズム（MMCS）を設計すること。
• 不確実性下での複雑な現実世界のマルチロボットパッケージ配達問題において、フレームワークの有効性を実証すること。

提案手法

• Dec-POMDPを、部分的に観測可能で連続状態空間に存在する非同期意思決定と変動する期間を持つマクロアクションをモデル化できるように拡張し、Dec-POSMDPに発展させる。
• グラフベースの計画を用いて、閉ループの信念空間マクロアクション（MA）を自動的に構築する。各LMA（局所的マクロアクション）は、信念を終端的信念状態へと誘導するフィードバック制御器として機能する。
• 完了時間と成功確率といったマクロアクションの重要な特性を解析的に特徴付け、Dec-POSMDPフレームワークへの統合を可能にする。
• 有望な政策の知識を活用することで、政策空間における探索と活用を向上させる、新規なモンテカルロ探索アルゴリズム（MMCS）を採用する。
• LMAグラフ上で動的計画法を適用し、各マクロアクションに対して最適な方策を合成することで、センサノイズや不確実性に対して強固な制御を実現する。
• 2次元連続状態空間と確率的観測を持つマルチロボットパッケージ配達ドメインにこのフレームワークを適用し、シミュレーションを用いて性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 非同期意思決定を伴う分散型で部分的に観測可能かつ連続状態空間のドメインに、マクロアクションを効果的に拡張できるか？
• RQ2 完了時間と成功確率という観点から、変動する期間を持つ閉ループ型マクロアクションを、計画に使用可能な形で形式的に特徴付けられるか？
• RQ3 Dec-POSMDPの高次元政策空間を効率的に探索できるスケーラブルな探索アルゴリズムを設計できるか？
• RQ4 信念空間マクロアクションの使用により、原始的アクションベースのDec-POMDPと比較して、解の質とスケーラビリティが顕著に向上するか？
• RQ5 このフレームワークは、不確実性下での複雑なマルチロボットタスクに対して、高品質で強固な制御器を生成できるか？

主な発見

• パッケージ配達ドメインにおいて、1000回の反復後、MMCSアルゴリズムは標準のモンテカルロ探索に比べ118%高い期待政策値を達成した。
• 1000回の探索反復後、MMCS方策は一部のシミュレーションで最大9個のパッケージを配達したが、モンテカルロ方策は2個を超える配達でほとんど成功がなかった。
• 固定時間枠内で少なくとも3個のパッケージを配達する成功確率は、MMCS方策の方がモンテカルロ方策に比べ顕著に高かった。
• 各マクロアクションの価値関数、成功確率、完了時間は、信念空間全体にわたり解析的に特徴付けられており、計画への強固な統合を可能にした。
• 提案されたDec-POSMDPフレームワークは、従来のDec-POMDP手法では解けない大規模で連続状態空間の部分的に観測可能なマルチロボット問題をスケーラブルに解ける。
• マクロアクションに変動する期間と確率的終了をモデル化することで、非同期意思決定をサポートし、現実世界のロボットシステムへの実用的導入を可能にする。