[论文解读] An Application of Computable Distributions to the Semantics of Probabilistic Programs

Daniel Huang, Greg Morrisett+1 more|arXiv (Cornell University)|Jun 20, 2018

Computability, Logic, AI Algorithms参考文献 44被引用 5

一句话总结

本文提出了一种使用可计算分布和拓扑域对具有连续分布的随机程序进行类型2可计算语义的形式化方法。它展示了如何在一个类似Haskell的语言中实现采样和分布语义，表明条件化在一般情况下并非可计算，并将该框架与可实现性及构造性数学联系起来。

ABSTRACT

In this chapter, we explore how (Type-2) computable distributions can be used to give both (algorithmic) sampling and distributional semantics to probabilistic programs with continuous distributions. Towards this end, we sketch an encoding of computable distributions in a fragment of Haskell and show how topological domains can be used to model the resulting PCF-like language. We also examine the implications that a (Type-2) computable semantics has for implementing conditioning. We hope to draw out the connection between an approach based on (Type-2) computability and ordinary programming throughout the chapter as well as highlight the relation with constructive mathematics (via realizability).

研究动机与目标

• 解决概率建模中连续分布与计算离散性之间的张力。
• 为支持算法采样和可计算分布的分布推理的随机程序开发一种语义形式。
• 使用拓扑域对扩展了实数和连续分布的核PCF类语言的语义进行建模。
• 研究在随机程序中条件化的可计算性，表明其在一般情况下并非类型2可计算。
• 通过可实现性将该框架与构造性数学联系起来，并展示其在函数式语言实际编程中的相关性。

提出的方法

• 使用类型2可计算性将实数和连续分布表示为离散近似的收敛序列。
• 在Haskell的一个子集内编码可计算分布，不依赖于实数或分布的黑箱原语。
• 使用拓扑域作为数学基础，以支持域论构造，建模语言的语义。
• 引入核心语言λ_CD，通过概率单子支持在可数基空间上的采样和分布语义。
• 通过函数如sampToComp和compToSamp，建立可采样分布与可计算分布之间的可计算同构。
• 通过integrateBndDom和integrateBnd等函数实现有效勒贝格积分，以计算可计算分布上的期望。

实验结果

研究问题

• RQ1 如何使用（类型2）可计算分布，为具有连续分布的随机程序同时提供采样和分布语义？
• RQ2 哪些数学结构（如拓扑域）能够忠实地建模具有连续分布的函数式语言的语义？
• RQ3 在类型2可计算框架中，条件化的可计算性在多大程度上成立，其局限性是什么？
• RQ4 该框架如何与构造性数学及可实现性相联系，特别是在随机编程的语境下？
• RQ5 图灵完备的随机编程语言是否能在表达所有类型2可计算分布的意义上，达到完全抽象和普遍性？

主要发现

• 一般情况下，条件化并非（类型2）可计算，意味着并非所有对随机模型的条件查询都能被算法计算。
• 语言λ_CD支持算法采样和分布语义，使得对随机程序可进行等式推理。
• 在全测度分布的假设下，可采样分布与可计算分布之间存在可计算同构。
• 拓扑域为在指称语义中建模可计算实数和连续分布提供了合适的数学基础。
• 通过不允许对非相等实数返回真值的相等性判断，避免了贝努力悖论——若未可证明不等，则相等性会发散。
• 通过integrateBndDom和integrateBnd等函数实现了有效勒贝格积分，使得可计算分布上的期望可被计算。