[论文解读] Lexicographic Ranking Supermartingales: An Efficient Approach to Termination of Probabilistic Programs

Sheshansh Agrawal, Krishnendu Chatterjee+1 more|arXiv (Cornell University)|Sep 12, 2017

Decision-Making and Behavioral Economics被引用 30

一句话总结

本文提出词典序排名上鞅（Lex-RSMs），一种新颖的方法，用于证明带有非确定性的概率程序的几乎必然终止性。该方法将广泛应用于非概率程序分析中的词典序排名函数扩展至概率设置，实现了线性算术程序的高效、组合式且多项式时间的合成，适用于现实世界抽象程序的分析。

ABSTRACT

Probabilistic programs extend classical imperative programs with real-valued random variables and random branching. The most basic liveness property for such programs is the termination property. The qualitative (aka almost-sure) termination problem given a probabilistic program asks whether the program terminates with probability 1. While ranking functions provide a sound and complete method for non-probabilistic programs, the extension of them to probabilistic programs is achieved via ranking supermartingales (RSMs). While deep theoretical results have been established about RSMs, their application to probabilistic programs with nondeterminism has been limited only to academic examples. For non-probabilistic programs, lexicographic ranking functions provide a compositional and practical approach for termination analysis of real-world programs. In this work we introduce lexicographic RSMs and show that they present a sound method for almost-sure termination of probabilistic programs with nondeterminism. We show that lexicographic RSMs provide a tool for compositional reasoning about almost sure termination, and for probabilistic programs with linear arithmetic they can be synthesized efficiently (in polynomial time). We also show that with additional restrictions even asymptotic bounds on expected termination time can be obtained through lexicographic RSMs. Finally, we present experimental results on abstractions of real-world programs to demonstrate the effectiveness of our approach.

研究动机与目标

• 解决在带有非确定性的概率程序中，缺乏实用且组合式的几乎必然终止性分析方法的问题。
• 将词典序排名函数在非概率程序中的成功范式，推广至概率程序领域。
• 开发高效的算法技术，用于组合式合成词典序 RSMs，特别是针对线性算术程序。
• 通过在概率系统中利用词典序结构，实现对终止性的组合式推理。
• 为基于受限词典序 RSMs 的期望终止时间边界合成提供理论基础。

提出的方法

• 引入词典序排名上鞅（Lex-RSMs）作为标准 RSMs 的推广，其中使用上鞅向量来跟踪多维空间中的进度。
• 在上鞅向量的各分量上定义词典序关系，以确保在程序转移关系下期望值严格递减。
• 利用线性规划技术，对具有线性算术的程序，在多项式时间内合成线性词典序 RSMs。
• 提出基于 Lex-RSMs 的组合式证明规则，支持程序组件间模块化的终止性验证。
• 对 Lex-RSMs 引入额外约束，以推导期望终止时间的渐近上界。
• 在现实世界概率程序的抽象上评估该方法，以证明其实际有效性。

实验结果

研究问题

• RQ1 词典序排名上鞅能否为带有非确定性的概率程序提供一种可靠且完备的几乎必然终止性证明方法？
• RQ2 对于具有线性算术的程序，Lex-RSMs 是否能够高效（例如，在多项式时间内）被合成？
• RQ3 Lex-RSMs 在多大程度上支持概率程序验证中的组合式推理？
• RQ4 受限形式的 Lex-RSMs 是否能够导出期望终止时间的渐近边界？
• RQ5 当应用于现实世界程序抽象时，Lex-RSMs 在实践中有多高效？

主要发现

• 词典序排名上鞅为带有非确定性的概率程序的几乎必然终止性证明提供了一种可靠的方法。
• 对于具有线性算术的的概率程序，词典序 RSMs 可通过线性规划在多项式时间内被合成。
• 该方法支持组合式推理，支持程序组件的模块化验证。
• 在引入额外结构约束后，Lex-RSMs 可用于推导期望终止时间的渐近上界。
• 在现实世界程序抽象上的实验评估表明，该方法在实际应用中具有高效性和可扩展性。
• 该框架将基于 RSM 的终止性分析适用范围，从学术示例扩展至真实、非平凡的概率程序。