[論文レビュー] Optimizing Memory-Bounded Controllers for Decentralized POMDPs

Christopher Amato, Daniel S. Bernstein+1 more|arXiv (Cornell University)|Jun 20, 2012

Distributed Control Multi-Agent Systems参考文献 10被引用数 48

ひとこと要約

本論文は、無限時間枠の非定常分散POMDPにおけるメモリ制限付き確率的有限状態制御装置の学習のための非線形最適化フレームワークを提案する。制御装置のパラメータに関して非線形計画問題としてポリシー最適化を定式化し、相関デバイスを組み込むことで、メモリと計算コストをわずかに増加させるだけで、最先端の手法よりも優れた品質の解を得ている。

ABSTRACT

We present a memory-bounded optimization approach for solving infinite-horizon decentralized POMDPs. Policies for each agent are represented by stochastic finite state controllers. We formulate the problem of optimizing these policies as a nonlinear program, leveraging powerful existing nonlinear optimization techniques for solving the problem. While existing solvers only guarantee locally optimal solutions, we show that our formulation produces higher quality controllers than the state-of-the-art approach. We also incorporate a shared source of randomness in the form of a correlation device to further increase solution quality with only a limited increase in space and time. Our experimental results show that nonlinear optimization can be used to provide high quality, concise solutions to decentralized decision problems under uncertainty.

研究の動機と目的

• 限られたメモリリソースを有する状況での無限時間枠分散POMDPの解法という課題に対処すること。
• 分散かつ部分的に観測可能な環境における高品質なポリシーの学習のためのスケーラブルな手法を開発すること。
• 非線形最適化技術を活用することで、既存の手法よりも優れた解の品質を実現すること。
• 計算コストの大幅な増加を伴わずに、エージェント間の協調を向上させるための相関デバイスを導入すること。
• 性能とメモリ使用量のバランスを取った、簡潔でコンactな制御装置を可能にすること。

提案手法

• 各エージェントのポリシーを、固定された内部状態数を有する確率的有限状態制御装置として表現する。
• 制御装置のパラメータに関して、ポリシー最適化問題を非線形計画問題として定式化する。
• 市販の非線形最適化ソルバを用いて、局所的に最適な制御装置パラメータを特定する。
• エージェント間の行動を調整するための共有相関デバイスを組み込み、共同性能を向上させる。
• 各制御装置の状態数を制限することで、解の品質とメモリコストのバランスを取る。
• 既存の非線形プログラミング技術を活用し、ポリシー空間を効率的に探索する。

実験結果

リサーチクエスチョン

• RQ1 非線形プログラミングは、分散POMDPにおけるメモリ制限付き制御装置の最適化に効果的か？
• RQ2 相関デバイスの導入が、解の品質と計算コストにどのように影響するか？
• RQ3 本手法は、性能とコンパクトさの観点から、既存の最先端手法をどの程度上回るか？
• RQ4 本手法は、より大規模またはより複雑な分散意思決定問題へどのようにスケーラブルか？
• RQ5 制御装置のサイズ、解の品質、計算要件の間には、どのようなトレードオフが存在するか？

主な発見

• 提案された非線形プログラミング定式化は、ベンチマーク問題において、最先端の手法よりも優れた品質の制御装置を生成した。
• 相関デバイスの導入により、メモリ使用量と時間計算量の増加が限定的であるにもかかわらず、共同性能が顕著に向上した。
• 本手法は、無限時間枠分散POMDPにおいて、強力な性能を維持しながらも、簡潔でメモリ効率の良い制御装置を生成した。
• 非線形最適化技術は、局所最適性の保証があるものの、分散POMDPのポリシー空間探索に効果的であることが示された。
• 本手法は、不確実性下での現実世界の分散意思決定に応用可能なスケーラビリティと実用性を示した。