[論文レビュー] Linear Distances between Markov Chains

Przemysław Daca, Thomas A. Henzinger+2 more|arXiv (Cornell University)|Apr 30, 2016

Formal Methods in Verification参考文献 7被引用数 6

ひとこと要約

本稿は、位相、線形時相論理（LTL）、またはオートマトンを介して表現される確率的性質に基づく、マルコフ連鎖間の線形距離の統一的枠組みを提示する。ブラックボックス設定下で、全変動距離はシミュレーションからの推定が不可能である一方、トレース距離は可能であることが示され、特定のLTL断片や固定サイズのオートマトンに対しては肯定的結果が得られ、一般クラスに対しては否定的結果が得られる。また、遷移確率の有限精度が、かつて推定不能であった距離の推定可能性を回復することが示される。

ABSTRACT

We introduce a general class of distances (metrics) between Markov chains, which are based on linear behaviour. This class encompasses distances given topologically (such as the total variation distance or trace distance) as well as by temporal logics or automata. We investigate which of the distances can be approximated by observing the systems, i.e. by black-box testing or simulation, and we provide both negative and positive results.

研究の動機と目的

• マルコフ連鎖間の線形距離を、確率的性質を用いて一般化された枠組みとして形式化すること。
• 有限長のトレースという制限のもとで、シミュレーション実行からの推定可能性（ブラックボックス設定）を特定すること。
• 位相的性質、LTL断片、およびオートマトンの各クラスにおける推定可能距離と推定不能距離の境界を特定すること。
• 遷移確率の有限精度が、かつて推定不能であった距離の推定可能性を回復する仕組みを調査すること。

提案手法

• 線形距離を、性質クラスにおける満たし確率の差の上界として定義する：$ \mathsf{D}(s,t) = \sup_{p \in \mathcal{C}} |p(s) - p(t)| $、ここで $ p(s) $ はマルコフ連鎖 $ s $ において性質 $ p $ を満たす確率を表す。
• 位相的クラス、LTL（例：$ \mathbf{F}\mathbf{G}, \mathbf{G}\mathbf{F} $）の断片、および決定的ラビンオートマトン（DRA）を用いて性質を特徴付ける。
• 統計的モデル検査技術を用い、最小遷移確率 $ p_{\mathsf{min}} $ の既知の下限を仮定して、ブラックボックス状態のマルコフ連鎖における性質満たし確率の推定を行う。
• 無限時間的性質における極めて小さな差の検出が、決定不能または計算不能な問題に還元されることにより、推定不能性を証明する。
• 特定のクラス（例：$ \mathbf{F}\mathbf{G}, \mathbf{G}\mathbf{F} $-LTL、固定サイズのDRA）が、統計的学習によりBSCCと性質確率の推論を可能にすることを示し、推定可能性を確立する。
• 有限精度を活用し、遷移確率の正確な学習を可能にし、白箱近似アルゴリズム（例：[8], [5] より）を適用して推定可能性を回復する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスアクセスなしで、2つのマルコフ連鎖間の全変動距離をシミュレーション実行からのみ推定できるか？
• RQ2 有限長のシミュレーショントレースを用いて、ブラックボックス設定下でマルコフ連鎖間のトレース距離は推定可能か？
• RQ3 どのLTL断片がシミュレーションからの推定可能であり、その推定可能性を可能にする構造的性質は何か？
• RQ4 決定的ラビンオートマトンによって定義される距離は推定可能か？また、オートマトンサイズにどのような制限が必要か？
• RQ5 遷移確率の有限精度が、かつて推定不能であった距離を推定可能に変えるか？その仕組みは何か？

主な発見

• 全変動距離は、遷移確率の下限が既知であっても、無限時間的性質における極めて小さな差の検出が決定不能であるため、シミュレーション実行からの推定は不可能である。
• トレース距離はブラックボックス設定下で推定可能である。これは、その確率がシミュレーションとBSCCの推論を介して統計的に近似可能である性質クラスに対応しているためである。
• $ \mathbf{F}\mathbf{G} $ および $ \mathbf{G}\mathbf{F} $ 演算子に論理結合子を適用したLTL断片は推定可能である。これは、BSCCにおける到達可能性および再発生のチェックに還元可能であるためである。
• すべての決定的ラビンオートマトンのクラスによって定義される距離は推定不能である。これは、無限精度で区別が必要な極めて長いプレフィックスイベントをエンコード可能であるためである。
• 固定サイズの決定的ラビンオートマトン（サイズ ≤ k）では、列挙と統計的モデル検査を用いることで距離は推定可能となり、実用的な近似が可能である。
• 遷移確率の有限精度（例：小数点2桁）により、かつて推定不能であった距離（全変動距離やトレース距離を含む）の推定可能性が回復される。これは、正確な連鎖の学習と白箱アルゴリズムの適用を可能にするためである。