[論文レビュー] Metrics for Markov Decision Processes with Infinite State Spaces

Norm Ferns, Prakash Panangaden+1 more|arXiv (Cornell University)|Jul 4, 2012

Formal Methods in Verification参考文献 18被引用数 46

ひとこと要約

本稿は、無限または連続的状態空間を有するマルコフ決定過程（MDP）における状態類似度を測るための指標を導入し、MDPの安定な近似を可能にする。この指標により、最適価値関数が状態間の距離に対して連続的に変化することが保証され、双模倣（bisimulation）の定量的アナログを提供するとともに、連続的MDPにおける価値関数の一般化を強化する。

ABSTRACT

We present metrics for measuring state similarity in Markov decision processes (MDPs) with infinitely many states, including MDPs with continuous state spaces. Such metrics provide a stable quantitative analogue of the notion of bisimulation for MDPs, and are suitable for use in MDP approximation. We show that the optimal value function associated with a discounted infinite horizon planning task varies continuously with respect to our metric distances.

研究の動機と目的

• 無限または連続的状態空間を有するMDPにおける状態類似度の形式的指標の開発を目的とする。
• MDPにおける双模倣の安定的で連続的なアナログを提供し、堅牢な近似手法を可能にする。
• 提案された指標のもとで、最適価値関数が状態距離に対して連続的に変化することを保証する。
• 明確に定義された指標構造を通じて、連続的状態MDPにおける価値関数の一般化と近似を支援する。
• 無限ホライズンで割引率が適用される連続的状態空間MDPにおける指標の理論的基盤を確立する。

提案手法

• 本稿は、連続的状態空間に適応したカップリング技術を用いた確率的双模倣の概念に基づいて、指標を定義する。
• 状態間の距離関数を導入し、その遷移確率行動と報酬構造の類似度を捉える。
• 収縮写像の原理を用いて指標を構築し、価値関数推定における収束性と安定性を保証する。
• マルコフ過程の理論とカップリングを活用して、MDPのダイナミクスを尊重する擬似距離を定義する。
• 状態距離の微小な変化が最適価値関数の微小な変化にしか与えないと保証され、連続性が確保される。
• 本手法は、割引率が適用される無限ホライズン計画タスクにおける価値関数の連続性を分析するために適用される。

実験結果

リサーチクエスチョン

• RQ1 非可算無限の状態空間を有するMDPにおいて、どのようにして状態類似度を形式的に測定できるか？
• RQ2 最適価値関数が状態距離に対して連続的に変化するような指標を定義できるか？
• RQ3 提案された指標は、連続的状態MDPにおける双模倣の安定的で定量的なアナログとして機能するか？
• RQ4 この指標は、連続的MDPにおける価値関数の近似と一般化をどのように支援するか？
• RQ5 この指標は、無限ホライズン計画において収束性と安定性を保証する理論的保証を提供するか？

主な発見

• 提案された指標により、最適価値関数が状態距離に対して連続的に変化することが保証され、近似における理論的安定性が得られる。
• この指標は、双模倣の連続的で定量的なアナログとして機能し、連続的MDPにおける堅牢な状態集約を可能にする。
• 類似した状態が類似した最適値をもたらすことを保証するため、価値関数の一般化を支援する。
• 価値関数の連続性が指標のもとで形式的に証明され、近似アルゴリズムへの応用の有効性が裏付けられる。
• 本手法は、連続的状態空間MDPに適用可能であり、割引率が適用される無限ホライズン計画フレームワークでも安定性を維持する。
• 指標はカップリングと収縮原理を用いて構築され、数学的厳密性と収束性の性質を保証する。