[論文レビュー] Approximate Verification of Partially Observable Discrete Time Stochastic Hybrid Systems.

Kendra Lesser, Meeko Oishi|arXiv (Cornell University)|Oct 29, 2014

Fault Detection and Control Systems被引用数 1

ひとこと要約

本稿では、ノイズのある観測下における部分的可観測な離散時間確率的ハイブリッドシステムにおける安全性の検証のための2つの近似手法を提案する。情報状態は有限状態マルコフ決定過程または径数基底関数によるガウス混合でモデル化され、加法的ガウスノイズのもとで誤差境界を伴う下界近似としての存続確率を点ベース価値反復法で近似可能である。

ABSTRACT

Assuring safety in discrete time stochastic hybrid systems is particularly difficult when only partial observations are available. We first review a formulation of the probabilistic viability (i.e. safety) problem under noisy hybrid observations as a dynamic program. Two methods for approximately solving the dynamic program are presented. The first method approximates the hybrid system as an equivalent finite state Markov decision process, so that the information state is a probability mass function. The second approach approximates an indicator function over the safe region using radial basis functions, to represent the information state as a Gaussian mixture. In both cases, we discretize the hybrid observation process and generate a sampled set of information states, then use point-based value iteration to under-approximate the viability probability. We obtain error bounds and convergence results in both cases, assuming additive Gaussian noise in the continuous state dynamics and observations. We compare the performance of the finite state and Gaussian mixture approaches on a simple numerical example. I.

研究の動機と目的

• 部分的かつノイズのある観測しか得られない状況下で、離散時間確率的ハイブリッドシステムにおける安全性検証の課題に対処すること。
• 部分的可観測性下での確率的存続問題の計算的に実行可能な近似を構築すること。
• 提案手法の誤差境界と収束保証を提供すること。
• 数値例を通じて、有限状態MDPとガウス混合に基づく情報状態表現の性能を比較すること。

提案手法

• ノイズのあるハイブリッド観測下での動的計画問題として確率的存続問題を定式化する。
• ハイブリッドシステムを有限状態マルコフ決定過程に近似し、情報状態を確率質量関数として表現する。
• 安全領域の指示関数を径数基底関数で近似し、情報状態をガウス混合として表現する。
• ハイブリッド観測プロセスを離散化し、両手法のための情報状態のサンプル集合を生成する。
• 両アプローチにおいて、点ベース価値反復法を用いて存続確率の下界近似を実行する。
• 連続状態ダイナミクスおよび観測における加法的ガウスノイズの仮定の下で、誤差境界と収束結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 部分的可観測な確率的ハイブリッドシステムにおける確率的存続問題を、どのように効率的に近似できるか？
• RQ2 情報状態の表現に有限状態MDPとガウス混合のどちらを用いるかの間には、どのようなトレードオフがあるか？
• RQ3 加法的ガウスノイズの仮定のもとで、提案手法の誤差境界を厳密に導出できるか？
• RQ4 計算効率と近似精度の観点から、有限状態MDPとガウス混合アプローチはどのように比較できるか？

主な発見

• 有限状態MDPアプローチは、離散状態上の確率質量関数としての情報状態表現により、実行可能な近似を提供する。
• ガウス混合手法は、径数基底関数を用いて安全領域の指示関数を近似し、ガウス分布の混合による連続状態表現を可能にする。
• 両手法とも、サンプル化された情報状態上で点ベース価値反復法を適用し、存続確率の下界近似を達成する。
• 両アプローチに対して誤差境界が導出され、加法的ガウスノイズの仮定の下で収束が保証される。
• 数値例により、2つの手法間で計算効率と近似精度のトレードオフが明確に示された。