[论文解读] Generalized discounted continuous-time Markov decision processes

Xianping Guo, Yi Zhang|arXiv (Cornell University)|Apr 11, 2013

Economic Policies and Impacts被引用 3

一句话总结

本文提出一种变换方法，用于求解具有无界速率和状态依赖或零折扣因子的波兰空间上的广义折扣连续时间马尔可夫决策过程（CTMDPs），从而实现对总无折扣准则的分析。该方法在历史无关类之外建立了确定性（无约束）和随机性（有约束）平稳最优策略的存在性，并为无约束情形推导出最优性方程。

ABSTRACT

This article investigates the generalized discounted criteria for possibly explosive continuous-time Markov decision processes (CTMDPs) in Polish spaces with unbounded transition and reward rates, which allow the discount factors to be state-dependent and zero-valued, and thus cover the otherwise underdeveloped total undiscounted criteria for non-absorbing CTMDPs. Nontrivially, we, under very mild conditions, develop the transformation method, which reduces our CTMDP problems to their discrete-time analogues, and then show the existence of a deterministic (resp., randomized) stationary optimal policy for the unconstrained (resp., constrained) CTMDPs, where the optimality is out of the class of history-dependent policies. Moreover, the optimality equation for the unconstrained case is also established. Quite differently from the case of standard discounted CTMDPs with a constant discount factor, we show that the transformation method could be inapplicable to the concerned CTMDPs with generalized discount factors when our conditions are violated.

研究动机与目标

• 解决非吸收连续时间马尔可夫决策过程中总无折扣准则缺乏理论基础的问题。
• 将CTMDP理论扩展至允许无界转移率和奖励率的情形。
• 开发一种变换方法，使连续时间问题在温和条件下可简化为离散时间类比问题。
• 为无约束和有约束的CTMDPs分别建立确定性和随机性平稳最优策略的存在性。
• 推导出广义折扣CTMDP无约束情形下的最优性方程。

提出的方法

• 提出一种变换方法，将具有状态依赖或零折扣因子的广义折扣CTMDPs映射为等价的离散时间MDPs。
• 在温和条件下应用该变换，以确保约化有效并保持最优性。
• 利用动态规划原理推导无约束情形下的最优性方程。
• 在平稳策略类中（排除历史相关策略）建立最优策略的存在性。
• 分析当假设被违反时，变换方法失效的结构性条件。
• 依赖波兰空间中的测度论工具，以处理无界速率和一般状态空间。

实验结果

研究问题

• RQ1 在何种条件下，具有状态依赖或零折扣因子的广义折扣CTMDPs可通过变换简化为离散时间MDPs？
• RQ2 在无界转移率和奖励率下，无约束CTMDPs是否存在确定性平稳最优策略？
• RQ3 在相同条件下，能否保证有约束CTMDPs存在随机性平稳最优策略？
• RQ4 广义折扣CTMDP无约束情形下的最优性方程形式为何？
• RQ5 为何当温和条件被违反时，变换方法会失效？

主要发现

• 开发了一种变换方法，可在温和条件下将具有状态依赖或零折扣因子的广义折扣CTMDPs简化为离散时间类比问题。
• 证明了在无界速率下，无约束CTMDPs中存在确定性平稳最优策略。
• 在相同框架下，建立了有约束CTMDPs中随机性平稳最优策略的存在性。
• 推导出无约束情形下的最优性方程，将经典结果推广至广义折扣情形。
• 表明当温和条件被违反时，该变换方法不再适用，凸显了这些假设的必要性。
• 结果将具有常数折扣因子的标准折扣CTMDPs推广至此前研究不足的更广泛情形。