[論文レビュー] Speeding Up Planning in Markov Decision Processes via Automatically Constructed Abstractions

Alejandro Isaza, Csaba Szepesvári+2 more|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 14被引用数 3

ひとこと要約

この論文は、中規模のマーケフ連鎖過程（MDP）における計画の高速化を目的として、自動的かつ多段階の抽象化階層を提案する。特に確率的最短経路問題に対して、より粗い抽象化を段階的に構築し、最上位レベルから再帰的に方策を精錬することで、最先端のソルバーと比較して最大100倍の高速化を達成しながら、近似的最適解を維持する。また、抽象化による最適性損失について理論的限界も提示する。

ABSTRACT

In this paper, we consider planning in stochastic shortest path (SSP) problems, a subclass of Markov Decision Problems (MDP). We focus on medium-size problems whose state space can be fully enumerated. This problem has numerous important applications, such as navigation and planning under uncertainty. We propose a new approach for constructing a multi-level hierarchy of progressively simpler abstractions of the original problem. Once computed, the hierarchy can be used to speed up planning by first finding a policy for the most abstract level and then recursively refining it into a solution to the original problem. This approach is fully automated and delivers a speed-up of two orders of magnitude over a state-of-the-art MDP solver on sample problems while returning near-optimal solutions. We also prove theoretical bounds on the loss of solution optimality resulting from the use of abstractions.

研究の動機と目的

• 完全に列挙可能な状態空間を有する中規模MDPにおける計画の計算非効率性を解決すること。
• 計画を単純化するための完全に自動化された階層的抽象化の生成手法を開発すること。
• 解の品質を損なうことなく計画時間を著しく短縮すること。
• 抽象化による最適性損失について理論的保証を提供すること。
• ナビゲーションや不確実性下での意思決定など、不確実な環境におけるスケーラブルな計画を可能にすること。

提案手法

• 元のMDP状態空間の段階的な粗い抽象化からなる多段階の階層を構築する。
• 状態の類似性と遷移構造に基づいて、自動的手順で抽象化を生成する。
• 最も抽象度の高いレベルで価値反復または類似の計画アルゴリズムを適用し、粗い方策を求める。
• 再帰的に抽象化の各段階を下位レベルへと精錬し、元の問題まで到達する。
• 抽象化されたレベルからの方策を、より細かい状態へと射影するメカニズムを採用する。
• 部分最適性の理論的限界を統合し、解の品質が既知の範囲内に保たれることを保証する。

実験結果

リサーチクエスチョン

• RQ1 自動的抽象化階層は、中規模MDPにおける計画時間の著しい短縮を実現できるか？
• RQ2 元の問題を解くのと比較して、抽象化されたMDPを用いることでどの程度の最適性が損なわれるか？
• RQ3 手動による介入なしに抽象化プロセスを完全に自動化できるか？
• RQ4 再帰的精錬プロセスは、複数の抽象化レベルにわたり近似的最適な性能を維持できるか？
• RQ5 抽象化から導かれる解の部分最適性について、どのような理論的保証を提供できるか？

主な発見

• 提案手法は、ベンチマーク問題において最先端のMDPソルバーと比較して最大100倍（2桁の速度向上）の高速化を達成した。
• 得られた解は近似的最適であり、抽象化による部分最適性ギャップについて理論的限界が保証されている。
• 抽象化階層は完全に自動化されており、手動での設計やチューニングが不要である。
• 再帰的方策精錬プロセスは、粗いレベルから細かいレベルへと知識を効果的に伝達した。
• ナビゲーションや不確実性下での意思決定といった実世界の応用においても有効である。
• 複雑性が異なる多様な問題インスタンスにおいても、強力な性能を維持した。