[论文解读] Computational methods for stochastic control with metric interval temporal logic specifications

Jie Fu, Ufuk Topcu|arXiv (Cornell University)|Mar 24, 2015

Formal Methods in Verification参考文献 5被引用 4

一句话总结

本文提出了一种计算方法，通过将连续时间随机系统离散化为马尔可夫决策过程（MDP），实现基于度量区间时态逻辑（MITL）规范的随机最优控制。该方法采用马尔可夫链逼近法，合成一种控制策略，以最大化满足MITL公式的概率，其在点式语义下的解在离散化细化时收敛至稠密时间语义下的最优策略。

ABSTRACT

This paper studies an optimal control problem for continuous-time stochastic systems subject to reachability objectives specified in a subclass of metric interval temporal logic specifications, a temporal logic with real-time constraints. We propose a probabilistic method for synthesizing an optimal control policy that maximizes the probability of satisfying a specification based on a discrete approximation of the underlying stochastic system. First, we show that the original problem can be formulated as a stochastic optimal control problem in a state space augmented with finite memory and states of some clock variables. Second, we present a numerical method for computing an optimal policy with which the given specification is satisfied with the maximal probability in point-based semantics in the discrete approximation of the underlying system. We show that the policy obtained in the discrete approximation converges to the optimal one for satisfying the specification in the continuous or dense-time semantics as the discretization becomes finer in both state and time. Finally, we illustrate our approach with a robotic motion planning example.

研究动机与目标

• 解决连续时间随机系统在实时时态逻辑约束下缺乏可扩展的概率控制合成方法的问题。
• 最大化随机系统中满足MITL规范的概率，而非依赖于定性满足。
• 弥合时态逻辑控制中离散逼近方法与连续时间语义之间的差距。
• 实现具有时间约束的不确定性环境下机器人运动规划的最优控制合成。
• 为状态和时间离散化更精细时的离散逼近方法提供收敛性保证。

提出的方法

• 系统建模为带有状态和控制相关扩散与漂移项的随机微分方程（SDE）。
• 应用马尔可夫链逼近法，将连续时间SDE离散化为有限状态马尔可夫决策过程（MDP）。
• 通过有限状态时序自动机编码MITL规范，随后与MDP进行产品复合，形成扩展MDP。
• 使用值迭代算法在扩展MDP中计算最优策略，以在点式语义下最大化满足MITL公式的概率。
• 该方法确保随着空间和时间离散化步长（h 和 δ）趋近于零，离散最优策略收敛至稠密时间语义下的真实最优策略。
• 通过有限集 U^ε 对输入空间进行离散化以支持数值计算，案例研究中采用 ε = 0.2。

实验结果

研究问题

• RQ1 是否可以使用连续时间随机系统的离散逼近来合成一种控制策略，以最大化满足MITL规范的概率？
• RQ2 随着离散化细化，离散MDP中计算出的最优策略是否收敛至原始连续系统中的最优策略？
• RQ3 如何将具有实时约束的时态逻辑规范编码并集成到随机控制框架中？
• RQ4 该方法在高维或复杂系统中的计算可扩展性如何？
• RQ5 该方法能否扩展至有界时间MTL和信号时态逻辑（STL）公式？

主要发现

• 在初始状态为 (0.5, 0.5, 0) 的示例中，离散MDP中计算出的最优策略对MITL公式 φ 的满足概率为 0.54，对应于20条模拟路径中有11条满足规范。
• 值迭代算法在50次迭代内收敛，容差为 0.01，每次迭代约需6分钟（标准台式机）。
• 示例的产物MDP在剔除不可达状态后共有 58,809 个状态，产物MDP的计算耗时18分钟。
• 该方法展示了随着空间步长 h 和时间步长 δ 的减小，离散最优策略收敛至稠密时间最优策略。
• 采用更精细的离散化（h = (0.2, 0.2, π/4)^T 且 δ < 0.1）将导致产物MDP包含 608,303 个状态，凸显了可扩展性限制。
• 作者指出隐式逼近和并行/分布式算法是缓解可扩展性问题的有前途的未来方向。