[論文レビュー] Scalable Planning and Learning for Multiagent POMDPs: Extended Version

Christopher Amato, Frans A. Oliehoek|arXiv (Cornell University)|Apr 4, 2014

Reinforcement Learning in Robotics参考文献 50被引用数 3

ひとこと要約

本稿では、局所的相互作用を要因値関数と要因統計を用いて活用することで、大規模な行動空間および観測空間にスケーリング可能な、マルチエージェントPOMDPのための新規オンライン計画アルゴリズムFV-POMCPを提案する。価値関数を重複する要因に分解し、サンプルベースのロールアウトを用いたUCTベースの木探索を適用することで、最大10エージェントの問題において、標準POMCPよりも著しく優れた性能を達成し、計画およびベイジアン強化学習の両設定で高品質な解を得た。

ABSTRACT

Online, sample-based planning algorithms for POMDPs have shown great promise in scaling to problems with large state spaces, but they become intractable for large action and observation spaces. This is particularly problematic in multiagent POMDPs where the action and observation space grows exponentially with the number of agents. To combat this intractability, we propose a novel scalable approach based on sample-based planning and factored value functions that exploits structure present in many multiagent settings. This approach applies not only in the planning case, but also in the Bayesian reinforcement learning setting. Experimental results show that we are able to provide high quality solutions to large multiagent planning and learning problems.

研究の動機と目的

• マルチエージェントシステムにおける既存のPOMDPおよびMPOMDP計画手法のスケーラビリティを阻害する行動空間および観測空間の指数的増加に対処すること。
• 完全に要因分解されたモデルを必要とせず、大規模なマルチエージェントPOMDPを効率的に処理できるオンラインでサンプルベースの計画アルゴリズムを開発すること。
• サンプルベースの計画の適用範囲を、無限状態空間を有するベイズ適応POMDPを含む、マルチエージェント設定におけるベイジアン強化学習に拡張すること。
• エージェント間の構造的依存関係を活用することで、集中型マルチエージェントシステムにおける効率的な連携行動選択と信念更新を可能にすること。
• 要因分解された価値関数近似が、POMDPにおけるモンテカルロ木探索に効果的に統合可能であることを示し、スケーラビリティと解の品質を維持すること。

提案手法

• FV-POMCPはPOMCPを拡張し、局所的エージェント相互作用に基づく価値関数の成分を表す要因統計を導入することで、計画中に考慮する連携行動の数を削減する。
• ノードが部分的行動-観測履歴を表す要因木構造を採用し、関係のない連携行動の枝を効率的に探索・剪定可能にする。
• UCT（木の上界信頼区間）を用いて、信念空間における有望な枝の探索を優先し、探索と活用のバランスを取る。
• Q値関数を重複する局所的成分に分解することで、完全に要因分解されたMDPモデルを必要とせずに、スケーラブルな計算を実現する。
• 初期状態サンプルを生成するためにルートサンプリングを用い、その後、前方探索木を通じて軌道をシミュレートし、リターンを推定するためにロールアウトを実行する。
• モデルの不確実性を信念状態の一部として扱うことで、ベイズ適応POMDPにおける効率的な学習を可能にし、計画およびベイジアン強化学習の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 要因分解された価値関数近似は、マルチエージェントPOMDPにおけるオンラインモンテカルロ木探索に効果的に統合可能か？
• RQ2 エージェントが他のエージェントのサブセットとのみ相互作用するという相互作用の局所性を活用することで、大規模なMPOMDPにおけるサンプルベース計画の性能と効率にどのような影響を与えるか？
• RQ3 FV-POMCPは、連携行動空間および観測空間が指数的に増加する状況において、4〜5エージェントを超える問題にどの程度スケーリング可能か？
• RQ4 FV-POMCPは、大規模な行動空間および観測空間を有するマルチエージェントシステムにおいて、計画およびベイジアン強化学習の両タスクで標準POMCPを上回る性能を示せるか？
• RQ5 要因統計および要因木の使用は、MPOMDPにおける計算複雑性を顕著に低減しながら、解の品質を維持できるか？

主な発見

• FV-POMCPは最大10エージェントのマルチエージェントPOMDPにスケーリング可能であり、解の品質および計算効率の面で標準POMCPを顕著に上回ることを示した。
• モデルの不確実性による無限状態空間を有するMPOMDPのベイジアン強化学習設定においても、高品質な解を達成した。
• FV-POMCPは計画および学習の両タスクで非要因分解POMCPを上回り、相互作用の局所性の活用が測定可能な利点をもたらすことを確認した。
• 要因統計および要因木の使用により、考慮対象となる連携行動および履歴の数が削減され、政策の品質を損なわず、より大きな問題へのスケーリングが可能になった。
• 実験的結果から、価値関数が近似的にしか要因分解されない場合でも、アルゴリズムが強い性能を維持することが示された。これは、実世界の広範なマルチエージェントシステムへの適用可能性を示している。
• 本手法により、従来の方法が指数的増加する状態空間・行動空間・観測空間のため失敗するような複雑なマルチエージェント環境においても、効率的なオンライン計画と学習が可能になった。