[论文解读] A convenient category for higher-order probability theory

Chris Heunen, Ohad Kammar+2 more|arXiv (Cornell University)|Jun 20, 2017

Logic, Reasoning, and Knowledge参考文献 28被引用 63

一句话总结

本文引入准博雷尔空间（quasi-Borel spaces）作为高阶概率论的新基础，以范畴论中的笛卡尔闭范畴取代可测空间，该范畴支持高阶函数、连续分布及等式推理。研究表明，准博雷尔空间可使随机函数的表述更加简洁，并推广了德·菲内蒂定理（de Finetti’s theorem）。

ABSTRACT

Higher-order probabilistic programming languages allow programmers to write sophisticated models in machine learning and statistics in a succinct and structured way, but step outside the standard measure-theoretic formalization of probability theory. Programs may use both higher-order functions and continuous distributions, or even define a probability distribution on functions. But standard probability theory does not handle higher-order functions well: the category of measurable spaces is not cartesian closed. Here we introduce quasi-Borel spaces. We show that these spaces: form a new formalization of probability theory replacing measurable spaces; form a cartesian closed category and so support higher-order functions; form a well-pointed category and so support good proof principles for equational reasoning; and support continuous probability distributions. We demonstrate the use of quasi-Borel spaces for higher-order functions and probability by: showing that a well-known construction of probability theory involving random functions gains a cleaner expression; and generalizing de Finetti's theorem, that is a crucial theorem in probability theory, to quasi-Borel spaces.

研究动机与目标

• 解决标准测度论概率在处理高阶函数和连续分布时的局限性。
• 为概率论构建一个范畴论基础，以支持高阶编程构造。
• 提供一种形式化体系，支持等式推理并清晰表达随机函数。
• 将基础定理（如德·菲内蒂定理）推广至高阶设置。
• 以更合适的范畴取代可测空间，适用于现代概率编程。

提出的方法

• 引入准博雷尔空间作为一类广义可测空间的新型空间，同时保留理想的范畴论性质。
• 证明准博雷尔空间的范畴是笛卡尔闭的，从而支持高阶函数。
• 确立准博雷尔空间是充分点化的，支持可靠的等式推理原则。
• 在准博雷尔框架内定义并处理连续概率分布，确保与标准概率构造兼容。
• 将该框架应用于重新表达涉及随机函数的经典构造，使其更加自然。
• 将德·菲内蒂定理推广至准博雷尔设置，扩展其在高阶概率模型中的适用性。

实验结果

研究问题

• RQ1 能否构建一个范畴论基础的概率论体系，以支持高阶函数和连续分布？
• RQ2 如何为概率论构造一个笛卡尔闭范畴，以支持函数式编程构造？
• RQ3 能否在高阶概率设置中可靠地应用等式推理原则？
• RQ4 能否将经典定理（如德·菲内蒂定理）推广至该新框架？
• RQ5 与标准测度论相比，该新形式化体系是否能更简洁地表达随机函数？

主要发现

• 准博雷尔空间构成一个笛卡尔闭范畴，使高阶函数在概率模型中得以应用。
• 准博雷尔空间的范畴是充分点化的，支持对概率程序的稳健等式推理。
• 连续概率分布可在准博雷尔框架内自然定义与操作。
• 在准博雷尔形式化体系中，经典随机函数构造获得了更简洁自然的表达。
• 德·菲内蒂定理被推广至准博雷尔空间，其有效性扩展至高阶概率设置。
• 该框架为可测空间提供了一个可行替代方案，解决了高阶概率论中的关键局限。