[论文解读] Formal verification of higher-order probabilistic programs

Tetsuya Sato, Alejandro Aguirre+4 more|arXiv (Cornell University)|Jul 16, 2018

Logic, Reasoning, and Knowledge参考文献 58被引用 10

一句话总结

本文提出PPV，一种用于验证具有连续分布和条件化操作的高阶概率程序的形式化逻辑框架。它以准博雷尔空间（QBS）作为语义基础，并将期望、分布相等性等关键概率构造直接内置于断言中，从而实现对统计学、推断和机器学习中复杂性质的可靠验证。

ABSTRACT

Probabilistic programming provides a convenient lingua franca for writing succinct and rigorous descriptions of probabilistic models and inference tasks. Several probabilistic programming languages, including Anglican, Church or Hakaru, derive their expressiveness from a powerful combination of continuous distributions, conditioning, and higher-order functions. Although very important for practical applications, these combined features raise fundamental challenges for program semantics and verification. Several recent works offer promising answers to these challenges, but their primary focus is on semantical issues. In this paper, we take a step further and we develop a set of program logics, named PPV, for proving properties of programs written in an expressive probabilistic higher-order language with continuous distributions and operators for conditioning distributions by real-valued functions. Pleasingly, our program logics retain the comfortable reasoning style of informal proofs thanks to carefully selected axiomatizations of key results from probability theory. The versatility of our logics is illustrated through the formal verification of several intricate examples from statistics, probabilistic inference, and machine learning. We further show the expressiveness of our logics by giving sound embeddings of existing logics. In particular, we do this in a parametric way by showing how the semantics idea of (unary and relational) TT-lifting can be internalized in our logics. The soundness of PPV follows by interpreting programs and assertions in quasi-Borel spaces (QBS), a recently proposed variant of Borel spaces with a good structure for interpreting higher order probabilistic programs.

研究动机与目标

• 解决组合连续分布、条件化操作与一等函数的高阶概率程序的形式化验证挑战。
• 克服先前逻辑框架的局限性——这些框架或仅限于离散分布，或无法在断言中直接表达期望或收敛等概率性质。
• 构建一个统一框架，支持具有连续测度的高阶概率程序的单重与关系验证。
• 通过基于形式概率论的证明系统，实现对统计学、概率推断和机器学习中真实世界示例的实际验证。
• 在可靠逻辑框架内内化高级概率构造，如$ op\top$-提升和连续$(f,\delta)$-提升。

提出的方法

• 定义用于一般（连续）测度的单子类型，并将条件化原语集成到语言与逻辑中。
• 使用准博雷尔空间（QBS）作为语义域，以建模高阶概率程序，提供一个支持完整高阶函数的笛卡尔闭范畴。
• 在PPV中设计三个相互关联的逻辑系统：一个用于单重性质（如期望值），一个用于关系性质（如分布等价性），一个用于收敛与近似推理。
• 将概率论中的核心结果（如全期望定律、依分布收敛）公理化为逻辑规则，以支持直观的非形式化推理风格。
• 通过$ op\top$-提升提供对现有逻辑系统（如GRHOL、PrivInfer）的参数化嵌入，展示PPV的表达能力与可扩展性。
• 通过在QBS范畴中解释程序与断言，建立PPV的可靠性，确保所有证明规则的正确性。

实验结果

研究问题

• RQ1 我们如何使用一种实用且模块化的逻辑，正式验证包含连续分布和条件化操作的高阶概率程序？
• RQ2 我们能否将关键的概率推理原则（如期望、收敛、耦合）直接嵌入到逻辑断言中？
• RQ3 我们如何以既表达丰富又可靠的方式，同时支持概率程序的单重与关系验证？
• RQ4 何种语义基础能够为高阶概率计算提供笛卡尔闭范畴，从而克服Aumann的负面结果？
• RQ5 PPV能否以合理方式归纳或嵌入现有的概率程序验证框架（如GRHOL或PrivInfer）？

主要发现

• PPV支持在断言中直接推理概率表达式，例如随机变量的期望值或测度序列的收敛性。
• 该框架支持对统计学与机器学习中复杂示例的形式化验证，包括贝叶斯推断与优化任务。
• PPV的可靠性通过在准博雷尔空间（QBS）中的解释得以确立，QBS为高阶概率程序提供了行为良好的范畴模型。
• PPV可通过$ op\top$-提升嵌入关系逻辑（如GRHOL），证明其表达能力与对现有方法的兼容性。
• 与PrivInfer或GRHOL等先前系统不同，PPV支持连续分布与条件化操作，而这些系统仅限于离散测度。
• PPV支持概率测度相等性与依分布收敛等性质的验证，这些性质在早期关系逻辑中无法直接表达。