[论文解读] Bayesian machine learning via category theory

Jared Culbertson, Kirk Sturtz|arXiv (Cornell University)|Dec 5, 2013

Bayesian Modeling and Causal Inference参考文献 8被引用 14

一句话总结

本文提出了一种基于条件概率范畴（Giry单子的Kleisli范畴的变体）的贝叶斯机器学习范畴理论框架，实现了对函数空间上参数化与非参数化贝叶斯推断的统一、对称的单余积弱闭结构建模。其核心贡献是通过范畴方法解析构造推断映射，其中卡尔曼滤波被作为该形式化体系中隐马尔可夫模型的典型实例加以说明。

ABSTRACT

From the Bayesian perspective, the category of conditional probabilities (a variant of the Kleisli category of the Giry monad, whose objects are measurable spaces and arrows are Markov kernels) gives a nice framework for conceptualization and analysis of many aspects of machine learning. Using categorical methods, we construct models for parametric and nonparametric Bayesian reasoning on function spaces, thus providing a basis for the supervised learning problem. In particular, stochastic processes are arrows to these function spaces which serve as prior probabilities. The resulting inference maps can often be analytically constructed in this symmetric monoidal weakly closed category. We also show how to view general stochastic processes using functor categories and demonstrate the Kalman filter as an archetype for the hidden Markov model.

研究动机与目标

• 在单一范畴框架内统一参数化与非参数化贝叶斯模型，使用从参数空间到函数空间的可测映射。
• 为监督学习问题中推断映射的解析构造提供一个对称单余积弱闭范畴。
• 展示如何将随机过程（包括高斯过程和隐马尔可夫模型）在此范畴中形式化为函子。
• 表明卡尔曼滤波自然地作为该范畴设定下推断的典范例子出现。
• 通过扩展至决策规则范畴，为将决策理论与贝叶斯推理相集成奠定基础。

提出的方法

• 将贝叶斯学习建模为范畴 𝒫 中的推断，其中对象为可测空间，态射为马尔可夫核。
• 利用 𝒫 中的张量积结构表示联合分布与条件分布，实现对复杂系统的组合建模。
• 将函数空间表示为 𝒫 中的对象，随机过程表示为指向这些空间的箭头，高斯过程通过联合正态分布定义。
• 通过前推测度与条件期望构造推断映射，利用 𝒫 的弱闭结构。
• 使用函子范畴形式化马尔可夫过程与隐马尔可夫模型，其中时间作为定义范畴。
• 应用范畴积分技术（如前推与狄拉克测度）计算期望与条件概率。

实验结果

研究问题

• RQ1 如何在单一范畴框架内系统性地统一参数化与非参数化贝叶斯模型？
• RQ2 能否利用范畴张量积与弱闭结构，解析构造贝叶斯函数估计中的推断映射？
• RQ3 标准模型（如卡尔曼滤波与高斯过程）如何自然地从该范畴形式化中浮现？
• RQ4 函子范畴在建模时间演化随机过程（如隐马尔可夫模型）中起什么作用？
• RQ5 如何在范畴设定下将决策组件与贝叶斯推理相集成？

主要发现

• 条件概率范畴 𝒫 是一个对称单余积弱闭范畴，支持对参数化与非参数化模型的推断映射的解析构造。
• 高斯过程被自然地建模为具有联合正态分布的随机过程，其推断可通过范畴积分与前推操作推导得出。
• 卡尔曼滤波被证明是该框架下隐马尔可夫模型中推断的典范实例，源于条件概率的范畴结构。
• 通过前推测度与条件期望显式构造了无噪声与有噪声测量的推断映射，展示了其解析可处理性。
• 该框架通过可测映射 i:ℝᵖ→Yˣ 将有限维参数空间嵌入函数空间，揭示了参数化与非参数化模型之间的深刻对偶性。
• 存在非唯一测度 P 与 Q 满足相同的条件分布（P̄=Q̄），表明弱闭结构满足存在性但不满足唯一性，从而确认其为弱闭而非强闭范畴。