[论文解读] Finite Optimal Control for Time-Bounded Reachability in CTMDPs and Continuous-Time Markov Games

Markus N. Rabe, Sven Schewe|arXiv (Cornell University)|Apr 22, 2010

Reinforcement Learning in Robotics参考文献 11被引用 4

一句话总结

本文证明了在连续时间马尔可夫决策过程（CTMDPs）和连续时间马尔可夫博弈（CTMGs）中，时间有界可达性问题存在有限最优控制策略。证明表明最优调度器是确定性的、时序位置的，并且在时间区间的有限划分上为分段位置策略，即使在博弈中存在对立目标的情况下也能确保有限最优控制。

ABSTRACT

We establish the existence of optimal scheduling strategies for time-bounded reachability in continuous-time Markov decision processes, and of co-optimal strategies for continuous-time Markov games. Furthermore, we show that optimal control does not only exist, but has a surprisingly simple structure: The optimal schedulers from our proofs are deterministic and timed-positional, and the bounded time can be divided into a finite number of intervals, in which the optimal strategies are positional. That is, we demonstrate the existence of finite optimal control. Finally, we show that these pleasant properties of Markov decision processes extend to the more general class of continuous-time Markov games, and that both early and late schedulers show this behaviour.

研究动机与目标

• 解决长期悬而未决的开放问题：在连续时间马尔可夫决策过程（CTMDPs）中，时间有界可达性是否存在最优控制。
• 将最优控制的存在性扩展到更复杂的连续时间马尔可夫博弈（CTMGs）设置，其中存在对立玩家。
• 证明最优策略不仅存在，而且具有有限且结构化的形式——具体而言，为确定性、时序位置策略，并具有有限多个切换区间。
• 通过证明早期和晚期调度器模型均产生相同的最优控制结构，统一并推广了现有结果。
• 提供一种基于拓扑与紧致性原理的证明框架，以支持最优策略的有限性与可测性。

提出的方法

• 在CTMDPs中引入离散状态以简化调度器建模，并支持早期与晚期调度器之间的转换。
• 使用拓扑论证，通过在开集的闭包上固定决策，证明可测最优调度器的存在性。
• 利用有界时间区间的紧致性，证明最优策略在有限个时间区间上为分段位置策略。
• 推导最优值函数的后向柯尔莫哥洛夫型微分方程：对于可达性问题，$-\dot{f}_{\mathsf{opt}}(l,t) = \max_{a} \sum_{l'} \mathbf{R}(l,a,l') \cdot (f_{\mathsf{opt}}(l',t) - f_{\mathsf{opt}}(l,t))$；对于安全性问题，使用$\min$。
• 通过证明纳什均衡必须满足相同的微分方程，将结果推广至CTMGs，并证明存在柱状的、确定性的、时序位置的共最优策略。

实验结果

研究问题

• RQ1 在具有通用调度器的连续时间马尔可夫决策过程（CTMDPs）中，时间有界可达性是否存在最优控制策略？
• RQ2 CTMDPs中最优策略的结构是否可表征为在时间区间划分上的有限且位置性策略？
• RQ3 最优控制的存在性与有限性是否可扩展至具有对立目标的连续时间马尔可夫博弈（CTMGs）？
• RQ4 在早期和晚期调度器语义下，最优策略是否仍保持相同的结构特性——即确定性、时序位置性及有限切换点？
• RQ5 无限状态或动作的存在对时间有界可达性问题中最优策略的有限性有何影响？

主要发现

• 在CTMDPs中，时间有界可达性的最优调度器存在，且为确定性、时序位置性策略，并在时间区间的有限划分上为分段位置策略。
• 最优控制策略可通过求解微分方程组的后向方法计算得出：对于可达性问题，$-\dot{f}_{\mathsf{opt}}(l,t) = \max_{a} \sum_{l'} \mathbf{R}(l,a,l') \cdot (f_{\mathsf{opt}}(l',t) - f_{\mathsf{opt}}(l,t))$。
• 在CTMGs中，双方均存在共最优策略，且为柱状、确定性、时序位置性策略，构成纳什均衡。
• 控制最优值函数的微分方程在速率的局部统一化下保持不变，从而支持计算简化。
• 当存在无限多个状态或动作时，最优策略可能需要无限多个切换点，表明有限状态/动作假设对有限性的必要性。
• 通过将终端条件修改为$f_{\mathsf{opt}}(l,t_{\max}) = 1$（对目标状态），结果可推广至非吸收目标区域，同时保持相同的微分方程。