[论文解读] Approximate Verification of Partially Observable Discrete Time Stochastic Hybrid Systems.

Kendra Lesser, Meeko Oishi|arXiv (Cornell University)|Oct 29, 2014

Fault Detection and Control Systems被引用 1

一句话总结

本文提出了两种近似方法，用于在存在噪声观测的情况下，验证部分可观察的离散时间随机混合系统的安全性。它通过有限状态马尔可夫决策过程或通过径向基函数表示的高斯混合模型来建模信息状态，从而利用基于点的值迭代方法，在存在加性高斯噪声的情况下，对可达性概率进行下近似并提供误差界。

ABSTRACT

Assuring safety in discrete time stochastic hybrid systems is particularly difficult when only partial observations are available. We first review a formulation of the probabilistic viability (i.e. safety) problem under noisy hybrid observations as a dynamic program. Two methods for approximately solving the dynamic program are presented. The first method approximates the hybrid system as an equivalent finite state Markov decision process, so that the information state is a probability mass function. The second approach approximates an indicator function over the safe region using radial basis functions, to represent the information state as a Gaussian mixture. In both cases, we discretize the hybrid observation process and generate a sampled set of information states, then use point-based value iteration to under-approximate the viability probability. We obtain error bounds and convergence results in both cases, assuming additive Gaussian noise in the continuous state dynamics and observations. We compare the performance of the finite state and Gaussian mixture approaches on a simple numerical example. I.

研究动机与目标

• 解决在仅能获得部分且带有噪声的观测时，离散时间随机混合系统中安全性验证的挑战。
• 在部分可观察性条件下，开发概率可达性问题的计算可处理的近似方法。
• 为所提出的近似方法提供误差界和收敛性保证。
• 在数值示例中比较有限状态与基于高斯混合的信息状态表示方法的性能。

提出的方法

• 将概率可达性问题表述为在噪声混合观测下的动态规划问题。
• 将混合系统近似为有限状态马尔可夫决策过程，将信息状态表示为概率质量函数。
• 使用径向基函数近似安全区域的指示函数，将信息状态表示为高斯混合模型。
• 对混合观测过程进行离散化，并为两种方法生成一组采样的信息状态。
• 对两种方法均应用基于点的值迭代，以对可达性概率进行下近似。
• 在连续状态动态和观测中存在加性高斯噪声的假设下，推导误差界和收敛性结果。

实验结果

研究问题

• RQ1 如何在部分可观察的随机混合系统中高效地近似概率可达性问题？
• RQ2 使用有限状态MDP与基于高斯混合的信息状态表示之间存在哪些权衡？
• RQ3 在加性高斯噪声假设下，能否为所提出的近似方法严格推导出误差界？
• RQ4 在准确性和计算性能方面，有限状态与高斯混合方法之间有何比较差异？

主要发现

• 有限状态MDP方法通过在离散状态上表示信息状态的概率质量函数，提供了可处理的近似。
• 高斯混合方法使用径向基函数近似安全区域的指示函数，通过高斯混合模型实现对连续状态的表示。
• 两种方法均通过在采样信息状态上应用基于点的值迭代，实现了对可达性概率的下近似。
• 为两种方法均推导出误差界，并在加性高斯噪声假设下建立了收敛性。
• 数值示例表明，两种方法在计算效率与近似精度之间存在性能权衡。