[论文解读] Asymptotic Optimality of Finite Approximations to Markov Decision Processes with General State and Action Spaces.

Naci Saldı, Serdar Yüksel+1 more|arXiv (Cornell University)|Mar 8, 2015

Markov Chains and Monte Carlo Methods参考文献 36被引用 4

一句话总结

本文在折扣成本和平均成本准则下，针对具有通用Borel状态空间和动作空间的马尔可夫决策过程（MDP），建立了有限状态近似方法的渐近最优性。在温和条件下，由有限近似导出的平稳策略可任意接近最优策略，且通过信息论分析，明确证实了收敛速率与阶最优性。

ABSTRACT

Calculating optimal policies is known to be computationally difficult for Markov decision processes with Borel state and action spaces and for partially observed Markov decision processes even with finite state and action spaces. This paper studies finite-state approximations of discrete time Markov decision processes with discounted and average costs and Borel state and action spaces. The stationary policies thus obtained are shown to approximate the optimal stationary policy with arbitrary precision under mild technical conditions. Under further assumptions, we obtain explicit rates of convergence bounds quantifying how the approximation improves as the size of the approximating finite state space increases. Using information theoretic arguments, the order optimality of the obtained rates of convergence is established for a large class of problems.

研究动机与目标

• 解决在折扣成本和平均成本准则下，具有通用Borel状态空间和动作空间的MDP求解的计算不可行性问题。
• 证明在温和的技术条件下，有限状态近似可产生与最优策略任意接近的平稳策略。
• 推导出随有限状态空间规模增大而改善的显式收敛速率。
• 通过信息论论证，建立这些收敛速率的阶最优性，适用于广泛的问题类别。

提出的方法

• 通过离散化Borel状态空间和动作空间，构建连续状态MDP的有限状态近似。
• 分析有限近似所得的平稳策略，评估其与最优策略的接近程度。
• 推导出子最优性间隙的显式上界，表明其随有限状态空间规模增大而衰减。
• 应用信息论工具，证明所推导的收敛速率具有阶最优性，即在一般情况下无法获得更快的收敛速率。
• 利用对MDP结构的假设（如连续性、紧致性）以确保收敛性及速率界的有效性。

实验结果

研究问题

• RQ1 对于具有通用Borel状态空间和动作空间的MDP，其有限状态近似能否实现与最优平稳策略任意接近的逼近？
• RQ2 随着有限状态空间规模增大，子最优性间隙的显式收敛速率可如何建立？
• RQ3 所推导的收敛速率是否具有阶最优性，即在广泛问题类别中理论上无法实现更快的收敛速率？
• RQ4 信息论论证如何支持近似方案中收敛速率的最优性？

主要发现

• 对于具有Borel状态空间和动作空间的MDP，其有限状态近似可产生收敛至最优策略的平稳策略，且在温和技术条件下可实现任意接近的逼近。
• 推导出子最优性间隙的显式上界，表明误差随有限状态空间规模增大而减小。
• 通过信息论论证，证明收敛速率具有阶最优性，即在一大类MDP中无法进一步提升。
• 结果适用于折扣成本和平均成本准则，扩展了有限近似方法的适用范围。