[论文解读] Linear Distances between Markov Chains

Przemysław Daca, Thomas A. Henzinger+2 more|arXiv (Cornell University)|Apr 30, 2016

Formal Methods in Verification参考文献 7被引用 6

一句话总结

本文提出了一种基于拓扑、线性时序逻辑（LTL）或自动机表达的 probabilistic properties 的马尔可夫链之间线性距离的统一框架。研究证明，尽管总变差距离无法通过仿真（黑盒）估计，但轨迹距离可以，且对特定 LTL 片段和固定大小的自动机有正面结果，而对一般类别则有负面结果；过渡概率的有限精度可使此前无法估计的距离恢复可估计性。

ABSTRACT

We introduce a general class of distances (metrics) between Markov chains, which are based on linear behaviour. This class encompasses distances given topologically (such as the total variation distance or trace distance) as well as by temporal logics or automata. We investigate which of the distances can be approximated by observing the systems, i.e. by black-box testing or simulation, and we provide both negative and positive results.

研究动机与目标

• 使用概率性质的形式化方法，建立马尔可夫链之间线性距离的一般框架。
• 在有限长度轨迹的限制下，确定哪些距离可从仿真运行中估计（黑盒设置）。
• 识别在不同性质类别（拓扑、LTL 片段、自动机）中可估计与不可估计距离之间的边界。
• 探讨过渡概率的有限精度如何使此前不可估计的距离恢复可估计性。

提出的方法

• 将线性距离定义为某一类性质上满足概率差异的上确界：$ \mathsf{D}(s,t) = \sup_{p \in \mathcal{C}} |p(s) - p(t)| $，其中 $ p(s) $ 表示马尔可夫链 $ s $ 中满足性质 $ p $ 的概率。
• 使用拓扑类、LTL（如 $ \mathbf{F}\mathbf{G}, \mathbf{G}\mathbf{F} $）的片段以及确定性 Rabin 自动机（DRA）来表征性质。
• 使用统计模型检测技术估计黑盒马尔可夫链中性质满足的概率，假设已知最小转移概率的下界 $ p_{\mathsf{min}} $。
• 通过归约到不可判定或不可计算问题（如检测无限时域性质中任意微小差异）来证明不可估计性。
• 通过证明某些类别（如 $ \mathbf{F}\mathbf{G}, \mathbf{G}\mathbf{F} $-LTL、固定大小 DRA）可通过统计学习推断出 BSCC 和性质概率，从而建立可估计性。
• 利用有限精度实现转移概率的精确学习，并应用白盒近似算法（如 [8], [5] 中的方法）以恢复可估计性。

实验结果

研究问题

• RQ1 在无白盒访问的情况下，仅通过仿真运行能否估计两个马尔可夫链之间的总变差距离？
• RQ2 在黑盒设置下，使用有限长度的仿真轨迹，马尔可夫链之间的轨迹距离是否可估计？
• RQ3 哪些 LTL 片段诱导的距离可从仿真中估计，其何种结构特性使其可估计？
• RQ4 由确定性 Rabin 自动机定义的距离是否可估计，其在自动机规模上存在何种限制？
• RQ5 过渡概率的有限精度是否能将原本不可估计的距离转化为可估计的？如果是，其机制如何？

主要发现

• 即使已知转移概率的下界，马尔可夫链之间的总变差距离也无法仅通过仿真运行来估计，原因在于检测无限时域性质中任意微小差异的不可判定性。
• 在黑盒设置下，轨迹距离是可估计的，因为它对应于可通过仿真和 BSCC 推断实现统计近似的性质类。
• 由 $ \mathbf{F}\mathbf{G} $ 和 $ \mathbf{G}\mathbf{F} $ 操作符与布尔连接词生成的 LTL 片段是可估计的，因为其可归约为 BSCC 中的可达性和重现性检查。
• 由所有确定性 Rabin 自动机类定义的距离是不可估计的，原因在于可编码任意长前缀事件，而区分这些事件需要无限精度。
• 对于固定大小的确定性 Rabin 自动机（大小 ≤ k），可通过枚举和统计模型检测使距离变为可估计，从而实现实际近似。
• 过渡概率的有限精度（如两位小数）可使此前不可估计的距离（包括总变差距离和轨迹距离）恢复可估计性，方法是实现对链的精确学习并应用白盒算法。