[論文レビュー] Computing Probabilistic Bisimilarity Distances for Probabilistic Automata

Giorgio Bacci, Giovanni Bacci+4 more|arXiv (Cornell University)|Jul 3, 2019

Formal Methods in Verification被引用数 6

ひとこと要約

本稿では、確率的オートマトンにおける確率的双対性距離を単純な確率的ゲームの解として特徴づける新しい手法を提示する。これにより、コンドンの単純な方策反復法を用いた実用的アルゴリズムが可能となる。非停止ゲームにおける収束問題を自己閉じた関係を用いて克服し、割引率なしの距離を計算するための最初の効率的な実用的解法を提供する。また、ω-正則性性質の満たされ方の差の理論的境界も得られる。

ABSTRACT

The probabilistic bisimilarity distance of Deng et al. has been proposed as a robust quantitative generalization of Segala and Lynch's probabilistic bisimilarity for probabilistic automata. In this paper, we present a characterization of the bisimilarity distance as the solution of a simple stochastic game. The characterization gives us an algorithm to compute the distances by applying Condon's simple policy iteration on these games. The correctness of Condon's approach, however, relies on the assumption that the games are stopping. Our games may be non-stopping in general, yet we are able to prove termination for this extended class of games. Already other algorithms have been proposed in the literature to compute these distances, with complexity in $ extbf{UP} \cap extbf{coUP}$ and extbf{PPAD}. Despite the theoretical relevance, these algorithms are inefficient in practice. To the best of our knowledge, our algorithm is the first practical solution. The characterization of the probabilistic bisimilarity distance mentioned above crucially uses a dual presentation of the Hausdorff distance due to Mémoli. As an additional contribution, in this paper we show that Mémoli's result can be used also to prove that the bisimilarity distance bounds the difference in the maximal (or minimal) probability of two states to satisfying arbitrary $ω$-regular properties, expressed, eg., as LTL formulas.

研究の動機と目的

• 確率的オートマトンにおける割引率なしの確率的双対性距離を実用的に計算するためのアルゴリズムを開発すること。
• 双対性距離の計算に起因する非停止確率的ゲームにおけるコンドンの方策反復法の収束問題を克服すること。
• 双対性距離と、ω-正則性性質を満たす確率の最大値・最小値の差との間の理論的リンクを確立すること。
• SMTソルバーや固定点列挙に基づく従来手法の計算的に効率的な代替手法を提供すること。

提案手法

• オートマトンから導出される単純な確率的ゲームの価値として、確率的双対性距離を特徴づける。
• ゲームを解くためにコンドンの単純な方策反復法を適用し、自己閉じた関係を用いて非停止ゲームに適応する。
• メモリの双対定式化を用いて、双対性距離と確率的性質の満たされ方を関連付ける。
• カップリング構造を用いて、異なる状態間での任意のω-正則性性質の満たされ確率の差を束縛する。
• 非停止ゲームでも収束を保証するため、フーの自己閉じた関係に基づく収束条件を実装する。
• ゲーム理論的定式化を活用し、異なるスケジューラによって誘導される分布集合の変動距離に関する境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 確率的双対性距離は、特に割引率なしの場合に実用的に効率的に計算可能か。
• RQ2 コンドンの方策反復法は、双対性距離の計算に起因する非停止確率的ゲームに対し、正しく適用可能か。
• RQ3 双対性距離と、ω-正則性性質を満たす確率の最大値・最小値の差との間にはどのような関係があるか。
• RQ4 ゲーム理論的定式化は、既存の理論的手法を上回る実用的アルゴリズムを導くことができるか。

主な発見

• 提案手法は、割引率なしの確率的双対性距離を計算するための最初の実用的解法であり、SMTソルバーや固定点列挙に基づく従来手法を上回る。
• 従来の実数の第一階論理の存在的フラグメントに依存するアプローチよりも、桁違いに高速な性能を達成する。
• 双対性距離は、任意の状態間で、LTL式を含む任意のω-正則性性質の満たされ確率の最大値と最小値の差を束縛する。
• 距離は、すべての可能なスケジューラによって誘導される分布集合のハウスドルフリフトにおける全変動距離の上限としても機能する。
• ゲーム理論的定式化により、非停止ゲームであっても、洗練された収束条件のおかげで方策反復による効率的な計算が可能になる。
• 理論的境界により、任意の状態sにおけるスケジューラπに対して、状態tにおけるスケジューラπ′が存在し、任意の可測性質について確率差がd1(s,t)以下であることが示される。