[論文レビュー] Planning in POMDPs Using Multiplicity Automata

Eyal Even-Dar, Sham M. Kakade+1 more|arXiv (Cornell University)|Jul 4, 2012

Machine Learning and Algorithms参考文献 16被引用数 10

ひとこと要約

この論文は、予測状態表現（PSR）の構造を捉えることでPOMDPを効率的に表現するmultiplicity automataを用いた、部分的に観測可能なマルコフ決定過程（POMDP）のための新しい計画手法を導入する。PSRのランクに等しいmultiplicity automataのサイズを示すことで、計画の複雑さをPOMDPの全状態空間ではなくPSRのランクに依存させるようにし、PSRが低ランクである場合には効率的な計画が可能になる。特に構造的POMDPでは指数的高速化が達成できる。

ABSTRACT

Planning and learning in Partially Observable MDPs (POMDPs) are among the most challenging tasks in both the AI and Operation Research communities. Although solutions to these problems are intractable in general, there might be special cases, such as structured POMDPs, which can be solved efficiently. A natural and possibly efficient way to represent a POMDP is through the predictive state representation (PSR) - a representation which recently has been receiving increasing attention. In this work, we relate POMDPs to multiplicity automata- showing that POMDPs can be represented by multiplicity automata with no increase in the representation size. Furthermore, we show that the size of the multiplicity automaton is equal to the rank of the predictive state representation. Therefore, we relate both the predictive state representation and POMDPs to the well-founded multiplicity automata literature. Based on the multiplicity automata representation, we provide a planning algorithm which is exponential only in the multiplicity automata rank rather than the number of states of the POMDP. As a result, whenever the predictive state representation is logarithmic in the standard POMDP representation, our planning algorithm is efficient.

研究の動機と目的

• POMDPにおける計画の計算的非効率性、特に大規模または複雑な状態空間における課題に対処すること。
• 従来の状態ベース表現の指数的増大を避ける、POMDPの効率的表現の探求。
• POMDP、予測状態表現（PSR）、multiplicity automataの間の明確な形式的関係の確立。
• 計画の複雑さがPOMDP状態数ではなくPSRのランクにのみ依存する計画アルゴリズムの開発。
• PSRのサイズがPOMDP表現に対して対数的に小さい場合、計画が著しく効率的になる条件の特定。

提案手法

• POMDPを予測状態表現（PSR）で表現し、システムのダイナミクスを観測可能な予測を通じて捉える。
• 任意のPOMDPが、表現サイズを増加させることなく、multiplicity automataとして同等に表現できることを示す。
• multiplicity automataのサイズがPSRのランクに等しいことを証明し、両者の間の直接的な対応関係を確立する。
• multiplicity automata上で動作する計画アルゴリズムを設計し、時間計算量が自動機のランクにしか指数的に依存しないようにする。
• multiplicity automataの代数的構造を活用し、自動機状態上で動的計画法を用いて価値関数と最適方策を効率的に計算する。
• multiplicity automataが効率的な線形代数演算をサポートすることを活かし、元のPOMDPが大規模であっても計算が扱いやすいことを活用する。

実験結果

リサーチクエスチョン

• RQ1 POMDPは、表現サイズの増大なしに、multiplicity automataを用いて効率的に表現可能か？
• RQ2 予測状態表現のランクと、対応するmultiplicity automataのサイズとの間に、直接的な構造的対応関係があるか？
• RQ3 PSRランクが小さい場合、特にPSRランクが小さい場合、multiplicity automataを介したPOMDP計画がより効率的になるか？
• RQ4 計画の複雑さをPOMDP状態数ではなくPSRランクにのみ依存させることが可能か？
• RQ5 どのような条件下で、この自動機ベースのアプローチが、従来のPOMDP計画アルゴリズムに比べて計算効率で優れているか？

主な発見

• POMDPを表すmultiplicity automataのサイズは、その予測状態表現（PSR）のランクに正確に等しい。
• POMDPをmultiplicity automataとして表現しても、元のPOMDPと比較してサイズが増加しないため、コンパクト性が保たれる。
• 計画の複雑さは、POMDP状態数ではなくPSRランクにのみ指数的に依存するようになり、低ランクの場合に顕著な効率的向上が達成できる。
• PSRのサイズが標準的POMDP表現のサイズに対して対数的である場合、提案された計画アルゴリズムは効率的になり、指数的高速化が達成できる。
• PSRランクが小さい構造的POMDPでは、状態数が大きくても効率的な計画が可能になる。
• PSRとmultiplicity automataの間の関係は、POMDP計画の新しい理論的・アルゴリズム的基盤を提供し、既に確立されたオートマトン理論と結びつける。