[論文レビュー] Formal verification of higher-order probabilistic programs

Tetsuya Sato, Alejandro Aguirre+4 more|arXiv (Cornell University)|Jul 16, 2018

Logic, Reasoning, and Knowledge参考文献 58被引用数 10

ひとこと要約

本稿では、連続分布と条件付き確率を備えた高階確率プログラミングを形式的に検証するための論理的枠組みPPVを紹介する。この枠組みは、準ボレル空間（QBS）を意味的基盤として用い、期待値や分布の等価性といった主要な確率的構成要素を直接アサーションに埋め込むことで、統計、推論、機械学習分野における複雑な性質の整合的検証を可能にする。

ABSTRACT

Probabilistic programming provides a convenient lingua franca for writing succinct and rigorous descriptions of probabilistic models and inference tasks. Several probabilistic programming languages, including Anglican, Church or Hakaru, derive their expressiveness from a powerful combination of continuous distributions, conditioning, and higher-order functions. Although very important for practical applications, these combined features raise fundamental challenges for program semantics and verification. Several recent works offer promising answers to these challenges, but their primary focus is on semantical issues. In this paper, we take a step further and we develop a set of program logics, named PPV, for proving properties of programs written in an expressive probabilistic higher-order language with continuous distributions and operators for conditioning distributions by real-valued functions. Pleasingly, our program logics retain the comfortable reasoning style of informal proofs thanks to carefully selected axiomatizations of key results from probability theory. The versatility of our logics is illustrated through the formal verification of several intricate examples from statistics, probabilistic inference, and machine learning. We further show the expressiveness of our logics by giving sound embeddings of existing logics. In particular, we do this in a parametric way by showing how the semantics idea of (unary and relational) TT-lifting can be internalized in our logics. The soundness of PPV follows by interpreting programs and assertions in quasi-Borel spaces (QBS), a recently proposed variant of Borel spaces with a good structure for interpreting higher order probabilistic programs.

研究の動機と目的

• 連続分布、条件付き確率、および一等級関数を併せ持つ高階確率プログラミングの形式的検証の課題に対処すること。
• 従来の論理が離散分布に限定されているか、期待値や収束といった確率的性質をアサーション内で直接表現できないという制限を克服すること。
• 連続測度を伴う確率プログラミングの単一化された枠組みを構築し、単一および関係的検証を両立させること。
• 形式的確率論に基づく証明系を用いて、統計、確率的推論、機械学習分野の実世界の例を実用的に検証可能にする。
• トポロジカル二重双対（$ op\top$-lifting）や連続的$(f,\delta)$-liftingといった高度な確率的構成を、整合的な論理枠組み内に内蔵すること。

提案手法

• 一般（連続）測度のためのモナド的型を定義し、言語および論理に条件付き確率プリミティブを統合する。
• 高階確率プログラミングをモデル化するための意味的領域として準ボレル空間（QBS）を用い、完全な高階関数をサポートするデカルト閉圏を提供する。
• PPV内に三つの関連する論理を設計する：単一性質（例：期待値）を扱う論理、関係的性質（例：分布的同等性）を扱う論理、収束および近似を扱う論理。
• 確率論の基本的結果（例：全期待値の法則、分布収束）を論理的規則として公理化し、直感的で非形式的な推論を可能にする。
• 既存の論理（例：GRHOL、PrivInfer）のパラメトリック埋め込みを$ op\top$-liftingを用いて提供し、PPVの表現力および拡張可能性を示す。
• QBS圏におけるプログラムおよびアサーションの解釈を通じてPPVの整合性を確立し、すべての証明規則の正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 連続分布と条件付き確率を含む高階確率プログラミングを、実用的でモジュラーな論理を用いて形式的に検証する方法は何か？
• RQ2 期待値、収束、カップリングといった主要な確率的推論原理を、論理的アサーションに直接埋め込むことは可能か？
• RQ3 単一および関係的検証を、表現力と整合性の両立を満たす形で確率プログラミングにサポートする方法は何か？
• RQ4 Aumannの否定的結果を克服し、高階確率計算のためのデカルト閉圏を提供する意味的基盤は何か？
• RQ5 PPVは、GRHOL や PrivInfer といった既存の確率プログラミング検証フレームワークを、原理的かつ包括的に統合または埋め込むことができるか？

主な発見

• PPVは、確率的式の直接的推論をアサーション内で可能にし、たとえば確率変数の期待値や測度列の収束といった性質を扱える。
• この枠組みは、ベイズ推論や最適化タスクを含む統計および機械学習分野の複雑な例の形式的検証を可能にする。
• PPVの整合性は、高階確率プログラミングに適した良好に扱える圏的モデルを提供する準ボレル空間（QBS）における解釈によって確立されている。
• PPVは$ op\top$-liftingを用いてGRHOLのような関係的論理を埋め込むことができ、その表現力および既存の手法との互換性を示している。
• 従来のシステム（例：PrivInfer や GRHOL）とは異なり、PPVは連続分布と条件付き確率をサポートしており、これらは離散測度に限定されていた。
• PPVは、確率測度の等価性や分布収束といった性質の検証を可能にし、これらは以前の関係的論理では直接表現できなかった。