[論文レビュー] Asymptotic Optimality of Finite Approximations to Markov Decision Processes with General State and Action Spaces.

Naci Saldı, Serdar Yüksel+1 more|arXiv (Cornell University)|Mar 8, 2015

Markov Chains and Monte Carlo Methods参考文献 36被引用数 4

ひとこと要約

本稿は、一般のボレル状態および行動空間を有するマルコフ決定過程（MDP）について、割引コストおよび平均コスト基準の下で、有限状態近似の 渐近的最適性 を確立する。やや弱い条件下で、有限近似から導かれる定常方策が、最適方策に任意に近づくことが示され、情報理論的解析により明示的な収束速度および順序最適性が確認されている。

ABSTRACT

Calculating optimal policies is known to be computationally difficult for Markov decision processes with Borel state and action spaces and for partially observed Markov decision processes even with finite state and action spaces. This paper studies finite-state approximations of discrete time Markov decision processes with discounted and average costs and Borel state and action spaces. The stationary policies thus obtained are shown to approximate the optimal stationary policy with arbitrary precision under mild technical conditions. Under further assumptions, we obtain explicit rates of convergence bounds quantifying how the approximation improves as the size of the approximating finite state space increases. Using information theoretic arguments, the order optimality of the obtained rates of convergence is established for a large class of problems.

研究の動機と目的

• 割引コストおよび平均コスト基準の下で、一般のボレル状態および行動空間を有するMDPを解くことの計算的非実行可能性に対処すること。
• やや弱い技術的条件下で、有限状態近似から得られる定常方策が、最適方策に任意に近づくことを示すこと。
• 有限状態空間のサイズが増加するに従い、改善が定量的に測定可能な明示的な収束速度を導出すること。
• 広範な問題クラスに対して、情報理論的議論を用いて、これらの収束速度が順序最適（order-optimal）であることを確立すること。

提案手法

• ボレル状態および行動空間の離散化により、連続状態MDPの有限状態近似を構築すること。
• 得られた有限近似からの定常方策を分析し、最適方策との類似度を評価すること。
• 有限状態空間のサイズが増加するに従い、減少する上界を明示的に導出することにより、部分最適性ギャップの上界を求める。
• 情報理論的道具を用いて、導出された収束速度が順序最適（すなわち、一般により速い収束速度は不可能）であることを証明すること。
• 収束および速度の上限を保証するために、MDPの構造（例えば、連続性、コンパクト性）に関する仮定を用いること。

実験結果

リサーチクエスチョン

• RQ1 一般のボレル状態および行動空間を有するMDPの有限状態近似は、最適定常方策に任意に近づくことができるか？
• RQ2 有限状態空間のサイズが増加するに従い、部分最適性ギャップの明示的な収束速度はどのように定式化できるか？
• RQ3 導出された収束速度は、広範な問題クラスに対して順序最適であるか、つまり理論的により速い収束速度は一般に達成不可能か？
• RQ4 情報理論的議論は、近似スキームにおける収束速度の最適性をどのように支持するか？

主な発見

• 一般のボレル状態および行動空間を有するMDPの有限状態近似は、やや弱い技術的条件下で、最適方策に任意に近づく定常方策を生成する。
• 部分最適性ギャップの明示的な上界が導出され、有限状態空間のサイズが増加するに従い、誤差が減少することが示された。
• 情報理論的議論を用いて、収束速度が順序最適であることが示された。これは、広範なMDPクラスにおいて一般に、より速い収束速度は達成不可能であることを意味する。
• 結果は、割引コストおよび平均コスト基準の両方に対して成り立つため、有限近似法の適用範囲が拡張された。