[論文レビュー] MAA*: A Heuristic Search Algorithm for Solving Decentralized POMDPs

Daniel Szer, François Charpillet+1 more|arXiv (Cornell University)|Jul 4, 2012

Auction Theory and Applications参考文献 21被引用数 155

ひとこと要約

MAA* は、有限時間枠の非協力的部分観測マルチエージェント意思決定過程（DEC-POMDP）を最適かつ完全に解くためのヒューリスティック探索アルゴリズムであり、古典的ヒューリスティック探索と非協力的制御理論を組み合わせることで、不確実性下での協働的マルチエージェント計画を可能にする。マルチロボット協調や分散リソース割り当てのような問題において顕著な性能優位性を達成する。

ABSTRACT

We present multi-agent A* (MAA*), the first complete and optimal heuristic search algorithm for solving decentralized partially-observable Markov decision problems (DEC-POMDPs) with finite horizon. The algorithm is suitable for computing optimal plans for a cooperative group of agents that operate in a stochastic environment such as multirobot coordination, network traffic control, `or distributed resource allocation. Solving such problems efiectively is a major challenge in the area of planning under uncertainty. Our solution is based on a synthesis of classical heuristic search and decentralized control theory. Experimental results show that MAA* has significant advantages. We introduce an anytime variant of MAA* and conclude with a discussion of promising extensions such as an approach to solving infinite horizon problems.

研究の動機と目的

• 不確実性下で動作する協働的マルチエージェントシステムにおける最適計画の課題に取り組む。
• 長年の未解決問題である有限時間枠の DEC-POMDP に対して、完全かつ最適なアルゴリズムを開発する。
• マルチロボットシステムやネットワーク交通制御のような確率的環境における効果的な協調を可能にする。
• 部分観測下における分散意思決定にスケーラブルで原理的かつ整合性のあるアプローチを提供する。
• 今後の研究により、無限時間枠の DEC-POMDP への最適解の拡張の基盤を築く。

提案手法

• エージェント間の連携方針と信念状態を維持することで、A*探索を非協力的 POMDP フレームワークに適応する。
• DEC-POMDP の緩和版の最適値に基づくヒューリスティック関数を用い、探索を効率的に誘導する。
• 連携方針空間を、各ノードが連携行動および観測履歴を符号化する木構造の探索空間として表現する。
• 探索中に劣悪な連携方針を除外するためのプルーニング技術を適用し、完全性と最適性を保証する。
• 計算時間の増加に応じて次第に改善される解を返す「いつでも」バージョンを導入する。
• DEC-POMDP の構造を活用して、有界かつ計算的に実行可能なヒューリスティックを計算する。

実験結果

リサーチクエスチョン

• RQ1 有限時間枠の DEC-POMDP に対して、完全かつ最適なヒューリスティック探索アルゴリズムを設計できるか？
• RQ2 非協力的かつ部分観測環境において、探索を効果的に誘導するヒューリスティック関数をどのように構築できるか？
• RQ3 古典的ヒューリスティック探索と非協力的制御理論を組み合わせることで、どのような性能向上が達成できるか？
• RQ4 アルゴリズムを「いつでも」動作可能に拡張でき、計算時間の経過に応じて解の品質が向上するか？
• RQ5 このアプローチを無限時間枠の DEC-POMDP に一般化する可能性は何か？

主な発見

• MAA* は、有限時間枠の DEC-POMDP に対して、世界最適な連携方針への収束を保証する、最初の完全かつ最適なヒューリスティック探索アルゴリズムである。
• 従来の正確なソルバーと比較して、特にスケーラビリティと解の品質の面で顕著な計算的優位性を示す。
• MAA* の「いつでも」バージョンは、計算時間の増加に伴い次第に改善される解を提供し、リアルタイム応用において実用的である。
• 実験結果から、MAA* はマルチロボット協調および分散リソース割り当てタスクにおいて、ベースライン手法を上回ることを示した。
• MAA* で用いられるヒューリスティック関数は有界であり、緩和された DEC-POMDP から導出されており、最適性を保証するとともに、計算の実行可能性を維持する。