[论文解读] Representable Markov Categories and Comparison of Statistical Experiments in Categorical Probability

T. A. Fritz, Tomáš Gonda+2 more|arXiv (Cornell University)|Oct 14, 2020

Statistical Mechanics and Entropy被引用 8

一句话总结

本文通过引入可表示的马尔可夫范畴，并在范畴概率中推广了布莱克韦尔–谢尔曼–斯坦定理，以比较统计实验。证明了在贝叶斯意义上，一个实验比另一个更具有信息量，当且仅当第一个实验的后验期望分布相对于第二个实验的后验期望分布具有二阶随机优势，且该结果在所有可测先验下普遍成立，同时统一并推广了该定理的经典形式与贝叶斯形式。

ABSTRACT

Markov categories are a recent categorical approach to the mathematical foundations of probability and statistics. Here, this approach is advanced by stating and proving equivalent conditions for second-order stochastic dominance, a widely used way of comparing probability distributions by their spread. Furthermore, we lay foundation for the theory of comparing statistical experiments within Markov categories by stating and proving the classical Blackwell-Sherman-Stein Theorem. Our version not only offers new insight into the proof, but its abstract nature also makes the result more general, automatically specializing to the standard Blackwell-Sherman-Stein Theorem in measure-theoretic probability as well as a Bayesian version that involves prior-dependent garbling. Along the way, we define and characterize representable Markov categories, within which one can talk about Markov kernels to or from spaces of distributions. We do so by exploring the relation between Markov categories and Kleisli categories of probability monads.

研究动机与目标

• 开发基于马尔可夫范畴的统计实验比较的范畴基础。
• 定义并刻画可表示的马尔可夫范畴，以实现将分布形式化为态射。
• 将二阶随机优势确立为比较概率分布离散程度的范畴工具。
• 将经典的布莱克韦尔–谢尔曼–斯坦定理推广至包含测度论与贝叶斯形式的综合、抽象范畴设定。
• 证明在贝叶斯意义上，信息量的多寡等价于期望后验分布的二阶随机优势。

提出的方法

• 通过确定性态射包含映射的右伴随存在性来刻画可表示的马尔可夫范畴，从而在范畴论中形式化分布函子的概念。
• 证明由仿射对称张量单子生成的马尔可夫范畴是可表示的，当且仅当其存在此类右伴随。
• 引入几乎必然相容的可表示性概念，以处理对先验的可测依赖性。
• 通过存在保持一阶与二阶矩的耦合映射，从范畴论角度定义二阶随机优势。
• 在马尔可夫范畴中证明布莱克韦尔–谢尔曼–斯坦定理：当且仅当存在一个态射 c: X × PΘ → Y，使得 f 的后验分布相对于 g 的后验分布具有随机优势。
• 利用柯尔莫哥洛夫延拓定理与博雷尔–康泰利引理，构造乘积空间中几乎必然收敛的可测选择子。

实验结果

研究问题

• RQ1 在何种范畴条件下，马尔可夫范畴可表示为概率单子的克莱斯利范畴？
• RQ2 在综合的范畴框架中，如何表述并刻画二阶随机优势？
• RQ3 比较统计实验的布莱克韦尔–谢尔曼–斯坦定理的范畴推广为何？
• RQ4 在范畴设定下，贝叶斯信息量与期望后验分布的随机优势之间有何关系？
• RQ5 能否通过可表示的马尔可夫范畴统一并推广经典与贝叶斯形式的布莱克韦尔定理？

主要发现

• 当且仅当存在确定性态射包含映射的右伴随时，马尔可夫范畴是可表示的，这为分布函子提供了范畴刻画。
• 二阶随机优势等价于存在保持一阶与二阶矩的耦合映射，从而在范畴论中实现了对分布离散程度的比较。
• 当马尔可夫范畴为 BorelStoch（标准博雷尔空间与马尔可夫核的范畴）时，经典布莱克韦尔–谢尔曼–斯坦定理作为特例被恢复。
• 贝叶斯版本的定理得以证明：对所有先验 f 比 g 更具信息量，当且仅当 f 的期望后验分布相对于 g 的期望后验分布具有二阶随机优势。
• 通过积分与上集的可测性，建立了可测选择子 µ ↦ nk(µ) 的存在性，从而在乘积空间中实现几乎必然收敛。
• 实现了实现贝叶斯信息量的态射 c: X × PΘ → Y 的可测性，确保该构造在可测空间范畴中有效。