[論文レビュー] Lexicographic Ranking Supermartingales: An Efficient Approach to Termination of Probabilistic Programs

Sheshansh Agrawal, Krishnendu Chatterjee+1 more|arXiv (Cornell University)|Sep 12, 2017

Decision-Making and Behavioral Economics被引用数 30

ひとこと要約

本稿では、非決定的を伴う確率的プログラムの確実な終了性を証明するための新しい手法として、辞書的順序のランク付きスーパーマルティングレイド（Lex-RSMs）を導入する。非確率的プログラム解析で広く用いられている辞書的順序のランク関数を、確率的設定へと拡張し、線形算術プログラムに対して効率的で構成的かつ多項式時間の合成が可能となる。実世界の抽象化への応用も含む。

ABSTRACT

Probabilistic programs extend classical imperative programs with real-valued random variables and random branching. The most basic liveness property for such programs is the termination property. The qualitative (aka almost-sure) termination problem given a probabilistic program asks whether the program terminates with probability 1. While ranking functions provide a sound and complete method for non-probabilistic programs, the extension of them to probabilistic programs is achieved via ranking supermartingales (RSMs). While deep theoretical results have been established about RSMs, their application to probabilistic programs with nondeterminism has been limited only to academic examples. For non-probabilistic programs, lexicographic ranking functions provide a compositional and practical approach for termination analysis of real-world programs. In this work we introduce lexicographic RSMs and show that they present a sound method for almost-sure termination of probabilistic programs with nondeterminism. We show that lexicographic RSMs provide a tool for compositional reasoning about almost sure termination, and for probabilistic programs with linear arithmetic they can be synthesized efficiently (in polynomial time). We also show that with additional restrictions even asymptotic bounds on expected termination time can be obtained through lexicographic RSMs. Finally, we present experimental results on abstractions of real-world programs to demonstrate the effectiveness of our approach.

研究の動機と目的

• 非決定的を伴う確率的プログラムにおける、実用的で構成的な確実な終了性解析の手法の欠如に対処する。
• 非確率的プログラムから確率的プログラムへと、成功した辞書的順序のランク関数のパラダイムを拡張する。
• 特に線形算術プログラムに対して、辞書的RSMの合成を効率的に行うアルゴリズム的手法を開発する。
• 確率的システムにおける辞書的構造を活用することで、終了性に関する構成的推論を可能にする。
• 期待終了時間の境界を合成する基盤を提供する。

提案手法

• 標準的なRSMの一般化として、複数の次元における進行状況を追跡するスーパーマルティングレイドのベクトルを用いる辞書的順序のランク付きスーパーマルティングレイド（Lex-RSMs）を導入する。
• プログラムの遷移関係の下で期待値が厳密に減少することを保証するため、スーパーマルティングレイドのベクトル成分に辞書的順序を定義する。
• 線形計画法を用いて、線形算術を含むプログラムに対して、線形の辞書的RSMを多項式時間で合成する。
• Lex-RSMに基づく構成的証明規則を導入し、プログラムの各部品間でのモジュラーな終了性の検証を可能にする。
• 期待終了時間の漸近的上限を導出可能とするために、Lex-RSMに追加の制約を導入する。
• 実世界の確率的プログラムの抽象化に対して本手法を適用し、実用的効果を実証する。

実験結果

リサーチクエスチョン

• RQ1 辞書的順序のランク付きスーパーマルティングレイドは、非決定的を伴う確率的プログラムにおける確実な終了性を、健全かつ完全に証明できるか？
• RQ2 線形算術を含むプログラムに対して、Lex-RSMは効率的に（例えば多項式時間で）合成可能か？
• RQ3 Lex-RSMは、確率的プログラムの検証における構成的推論をどの程度サポートできるか？
• RQ4 制限された形のLex-RSMは、期待終了時間の漸近的上限を導出可能か？
• RQ5 実世界のプログラムの抽象化に適用した場合、Lex-RSMは実用的にどの程度有効か？

主な発見

• 辞書的順序のランク付きスーパーマルティングレイドは、非決定的を伴う確率的プログラムにおける確実な終了性を証明する健全な手法を提供する。
• 線形算術を含む確率的プログラムに対しては、線形計画法を用いて、辞書的RSMを多項式時間で合成可能である。
• 本手法は構成的推論をサポートし、プログラム部品のモジュラーな検証を可能にする。
• 追加の構造的制約を導入することで、Lex-RSMを用いて期待終了時間の漸近的上限を導出可能である。
• 実世界のプログラムの抽象化に対する実験的評価により、本手法の実用的効果とスケーラビリティが実証された。
• 本フレームワークにより、RSMに基づく終了性解析の適用範囲が、学術的例から現実的で非自明な確率的プログラムへと拡張された。