[論文レビュー] Scaling Up Decentralized MDPs Through Heuristic Search

Jilles Dibangoye, Christopher Amato+1 more|arXiv (Cornell University)|Oct 16, 2012

Reinforcement Learning in Robotics参考文献 35被引用数 17

ひとこと要約

本稿では、遷移および観測に依存しない分散MDP（Dec-MDP）を解くための新しいヒューリスティック探索アルゴリズムを提案する。制約最適化を活用することで、探索ノードの拡張を効率的に行う。既存の最先端ソルバーよりも複数桁のスケーラビリティおよび計算速度の向上を達成し、ベンチマーク問題において顕著な性能向上を示す。また、このサブクラスのNP困難性制約下でも最適性保証を維持する。

ABSTRACT

Decentralized partially observable Markov decision processes (Dec-POMDPs) are rich models for cooperative decision-making under uncertainty, but are often intractable to solve optimally (NEXP-complete). The transition and observation independent Dec-MDP is a general subclass that has been shown to have complexity in NP, but optimal algorithms for this subclass are still inefficient in practice. In this paper, we first provide an updated proof that an optimal policy does not depend on the histories of the agents, but only the local observations. We then present a new algorithm based on heuristic search that is able to expand search nodes by using constraint optimization. We show experimental results comparing our approach with the state-of-the-art DecMDP and Dec-POMDP solvers. These results show a reduction in computation time and an increase in scalability by multiple orders of magnitude in a number of benchmarks.

研究の動機と目的

• Dec-POMDPの計算困難性（NEXP完全）を解消するため、遷移および観測に依存しないDec-MDPの tractable サブクラスに焦点を当てる。
• このサブクラスの既存の最適ソルバーよりもスケーラビリティと効率性を向上させる。これらのソルバーよりも実用的でないが、NP完全性であるため依然として困難である。
• このサブクラスにおける最適方策が、エージェントの履歴ではなく、局所的観測にのみ依存することを示す。これにより、方策表現が簡素化される。
• 制約最適化を用いてノード拡張を誘導する新しいヒューリスティック探索ベースのアルゴリズムを開発する。
• 標準ベンチマーク上での、最先端のDecMDPおよびDec-POMDPソルバーよりも、提案手法の実験的妥当性を検証する。

提案手法

• アルゴリズムは、ヒューリスティック推定値と制約最適化の組み合わせに基づいて、有望な方策パスを優先するヒューリスティック探索フレームワークを採用する。
• 理論的知見として、遷移および観測に依存しないDec-MDPサブクラスにおける最適方策が、完全な履歴ではなく、局所的観測にのみ依存することを活用する。
• 探索プロセスでは、制約最適化モジュールを用いて、有望でない分岐を早期に pruning することで、探索されるノード数を削減する。
• ヒューリスティック関数は、将来の期待報酬を推定するように設計されており、高価値の方策コンビネーションへ向かう探索を誘導する。
• アルゴリズムは部分方策のフロントを維持し、ヒューリスティックおよび制約チェックに基づくベストファースト戦略で拡張を行う。
• 動的計画法の原則とヒューリスティックのガイダンスを統合することで、最適性と計算効率のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 制約最適化を統合したヒューリスティック探索は、最適Dec-MDPソルバのスケーラビリティを顕著に向上させ得るか？
• RQ2 遷移および観測に依存しないDec-MDPサブクラスにおける最適方策は、本当にエージェント履歴ではなく、局所的観測にのみ依存するのか？
• RQ3 提案手法は、既存の最先端のDecMDPおよびDec-POMDPソルバーよりも、性能および解の質において優れているか？
• RQ4 効果的なヒューリスティック推定と制約プルーニングによって、探索空間はどの程度削減可能か？
• RQ5 提案手法は、最適性を維持しつつ、計算時間を複数桁短縮できるか？

主な発見

• 提案されたヒューリスティック探索アルゴリズムは、いくつかのベンチマーク問題において、最先端のソルバーよりも複数桁の計算時間を短縮した。
• アルゴリズムは顕著なスケーラビリティの向上を示し、従来の方法では処理不可能であったより大きな問題インスタンスを解けるようになった。
• 理論的証明により、このサブクラスにおける最適方策がエージェント履歴ではなく局所的観測にのみ依存することが確認され、方策表現および探索の簡素化が可能になった。
• 実験的結果から、制約最適化とヒューリスティック探索の統合が、収束速度の向上およびノード探索の削減に寄与することが示された。
• アルゴリズムは全テストベンチマークで最適解を達成し、正しさを確認するとともに、実行時間およびスケーラビリティの面で先行手法を上回った。
• この手法は、より高い状態空間および行動空間次元の問題に対しても、効果的にスケーリング可能であり、問題サイズに対する頑健性を示した。