[論文レビュー] Rollout Sampling Policy Iteration for Decentralized POMDPs

Feng Wu, Shlomo Zilberstein+1 more|arXiv (Cornell University)|Mar 15, 2012

Auction Theory and Applications参考文献 21被引用数 21

ひとこと要約

本稿では、分散部分観測マルコフ決定過程（DEC-POMDPs）向けに、DecRSPIと呼ばれるロールアウトサンプリング政策反復アルゴリズムを提案する。モンテカルロサンプリングを用いて到達可能な信念状態を生成し、ロールアウト推定により連携方策を計算することで、エージェント数に対して線形時間計算量を達成し、メモリ使用量を制限し、大規模なモデルフリーなマルチエージェント問題において高品質な解を得ることが可能となる。

ABSTRACT

We present decentralized rollout sampling policy iteration (DecRSPI) - a new algorithm for multi-agent decision problems formalized as DEC-POMDPs. DecRSPI is designed to improve scalability and tackle problems that lack an explicit model. The algorithm uses Monte- Carlo methods to generate a sample of reachable belief states. Then it computes a joint policy for each belief state based on the rollout estimations. A new policy representation allows us to represent solutions compactly. The key benefits of the algorithm are its linear time complexity over the number of agents, its bounded memory usage and good solution quality. It can solve larger problems that are intractable for existing planning algorithms. Experimental results confirm the effectiveness and scalability of the approach.

研究の動機と目的

• 分散部分観測マルコフ決定過程（DEC-POMDPs）の計画アルゴリズムにおけるスケーラビリティの制限を解消すること。
• 環境の明示的モデルを必要としないマルチエージェント意思決定問題に取り組むこと。
• 従来の手法が計算的に非効率であるため失敗する大規模なDEC-POMDPsにおいて、効率的な方策学習を可能にすること。
• スケーラブルな計算とメモリ効率を支援するコンactな方策表現を開発すること。
• 従来のアプローチでは非効率である問題において、解の品質とスケーラビリティを向上させること。

提案手法

• 初期信念分布から到達可能な信念状態の集合をモンテカルロサンプリングにより生成する。
• 各サンプルされた信念状態について、ロールアウト推定を適用して連携方策を評価・改善する。
• エージェント間の連携方策をコンactに符号化できる新しい方策表現を採用する。
• サンプルされた信念状態を用いて方策反復を実装し、連携方策を段階的に改善する。
• 完全なモデル知識が不要な状態で、価値関数の近似をロールアウトサンプリングによって実現する。
• 全信念空間の列挙ではなく、サンプルされた信念状態に焦点を当てることで、制限されたメモリ使用量を維持する。

実験結果

リサーチクエスチョン

• RQ1 明示的なモデルが存在しない分散POMDPsに、ロールアウトサンプリング方策反復を効果的に適応できるか？
• RQ2 提案手法がエージェント数に対して線形時間計算量を達成するか？
• RQ3 DecRSPIは、従来のアルゴリズムでは非効率である大規模なDEC-POMDP問題を解けるか？
• RQ4 コンactな方策表現がメモリ使用量と解の品質に与える影響は何か？
• RQ5 モデルフリーなマルチエージェント計画において、計算効率と解の品質のトレードオフは何か？

主な発見

• DecRSPIはエージェント数に対して線形時間計算量を達成し、スケーラビリティが著しく向上した。
• アルゴリズムは制限されたメモリを使用するため、メモリが制限される大規模な問題に適している。
• 実験結果から、DecRSPIはベンチマーク用DEC-POMDP問題において、従来のアルゴリズムを上回り、かつ従来では非効率であった問題に対しても優れた性能を示した。
• 完全なモデルが存在しない状況でも高品質な解を生成でき、モデルフリーな環境での有効性を示した。
• コンactな方策表現により、解の品質を損なわず、効率的なストレージと計算が可能となった。
• ロールアウトサンプリングにより価値関数の堅牢な近似が可能となり、方策収束性と性能が向上した。