[论文解读] A new rule for almost-certain termination of probabilistic- and demonic programs

Annabelle McIver, Carroll Morgan|arXiv (Cornell University)|Dec 4, 2016

Logic, Reasoning, and Knowledge参考文献 13被引用 9

一句话总结

本文提出了一种新颖的证明规则，通过将上鞅与参数化进展条件相结合，用于在概率性和恶性的程序中建立几乎必然终止（ACT）。该方法能够在无限状态系统（如一维和二维的无界对称随机游走）中验证以概率1终止，而此前基于非零概率减少或有界上鞅的技术在此类系统中失效。

ABSTRACT

Extending our own and others' earlier approaches to reasoning about termination of probabilistic programs, we propose and prove a new rule for termination with probability one, also known as "almost-certain termination". The rule uses both (non-strict) super martingales and guarantees of progress, together, and it seems to cover significant cases that earlier methods do not. In particular, it suffices for termination of the unbounded symmetric random walk in both one- and two dimensions: for the first, we give a proof; for the second, we use a theorem of Foster to argue that a proof exists. Non-determinism (i.e. demonic choice) is supported; but we do currently restrict to discrete distributions.

研究动机与目标

• 开发一种适用于概率性和恶性的程序的几乎必然终止（ACT）证明规则，使其在传统方法失效的无限状态系统中仍能适用。
• 将上鞅推理与局部的、参数化的进展条件相结合，以在不需远离零的概率边界条件下建立ACT。
• 提供一种源代码级别的验证技术，避免显式构建转移系统，从而支持对程序代码的局部推理。
• 将现有的基于上鞅的方法扩展至涵盖如二维对称随机游走等情形，这些情形此前的途径无法直接验证。
• 建立上鞅有界性与非终止性之间的联系，为不以概率1终止的程序提供反证证书。

提出的方法

• 在状态空间 $ S $ 上定义一个非负变体函数 $ V $，满足对所有终止状态 $ s \in S_0 $ 有 $ V(s) = 0 $，对所有非终止状态 $ s \in S_* $ 有 $ V(s) > 0 $。
• 要求 $ V $ 为上鞅：在任何来自恶性的分布集合中的选择下，$ V $ 在一次转移后的期望值不超过其当前值。
• 引入参数化进展条件：对每个状态 $ s \in S_* $，存在 $ \delta > 0 $，使得以至少 $ \delta $ 的概率，下一状态 $ s' $ 满足 $ V(s') < V(s) $，且该 $ \delta $ 可依赖于 $ s $。
• 利用上鞅性质与局部进展的结合，满足零一律的条件，从而保证最终终止的概率为1。
• 将该规则应用于无限状态系统，如一维和二维的对称随机游走，这些系统中标准上鞅规则因缺乏转移概率的统一下界而失效。
• 借助Foster定理论证2D情形下证明的存在性，即使尚未知晓闭式变体。

实验结果

研究问题

• RQ1 能否开发一种统一的证明规则，将上鞅与进展条件结合，以验证无限状态的概率性和恶性的程序的几乎必然终止？
• RQ2 所提出的规则是否扩展了现有基于上鞅方法的可验证程序范围，特别是对无界随机游走情形？
• RQ3 该规则能否在不显式构建底层转移系统的情况下，直接应用于源代码？
• RQ4 上鞅的有界性与几乎必然终止不可能性之间存在何种关系？
• RQ5 该规则是否可作为非终止以概率1的反证证书，而不仅限于期望时间无限的情形？

主要发现

• 所提出的规则成功证明了一维无界对称随机游走的几乎必然终止，使用线性上鞅与局部进展条件。
• 对于二维对称随机游走，尽管尚无闭式变体，但Foster定理保证了变体的存在性，且该规则在相同条件下确认了ACT。
• 该规则揭示了一个关键区别：若一个上鞅有界且非恒定，则几乎必然终止不可能成立——为此类情形提供了反证方法。
• 该方法通过将上鞅与参数化进展相结合，推广了先前规则，使在转移概率未远离零的系统中也能实现验证。
• 该规则在语义上是正确的，且适用于源代码级别的推理，支持集成到pGCL等程序逻辑中，以实现形式化验证。
• 本文建立了一种新的反证证书：有限的、非恒定的精确上鞅意味着程序不会以概率1终止，而不仅限于期望时间无穷的情形。