[论文解读] Bayesian Updates Compose Optically

Toby St Clere Smithe|arXiv (Cornell University)|May 31, 2020

Philosophy and History of Science参考文献 14被引用 14

一句话总结

本文通过光学与透镜的数学框架，确立了贝叶斯更新可通过组合方式最优实现，表明通过逆序反转各组成部分来反转复合随机过程，其结果与直接反转整个过程相同。关键贡献在于证明了在纤维范畴中，贝叶斯反演形成了一个行为良好且可组合的结构，其中精确的贝叶斯透镜满足 GetPut，但不满足 PutGet 或 PutPut 定律，原因在于信念混合。

ABSTRACT

Bayes' rule tells us how to invert a causal process in order to update our beliefs in light of new evidence. If the process is believed to have a complex compositional structure, we may ask whether composing the inversions of the component processes gives the same belief update as the inversion of the whole. We answer this question affirmatively, showing that the relevant compositional structure is precisely that of the lens pattern, and that we can think of Bayesian inversion as a particular instance of a state-dependent morphism in a corresponding fibred category. We define a general notion of (mixed) Bayesian lens, and discuss the (un)lawfulness of these lenses when their contravariant components are exact Bayesian inversions. We prove our main result both abstractly and concretely, for both discrete and continuous states, taking care to illustrate the common structures.

研究动机与目标

• 将贝叶斯推断形式化为一种使用范畴论的可组合双向变换。
• 证明通过组件级贝叶斯反演反转复合随机过程，其结果与直接反转整个过程相同。
• 在纤维范畴框架下，定义一种通用的（混合）贝叶斯透镜概念。
• 在标准透镜定律（GetPut、PutGet、PutPut）的背景下，分析贝叶斯透镜的合法性，特别是其与信念混合的关系。

提出的方法

• 在纤维范畴中将贝叶斯反演形式化为状态依赖态射，其中基范畴包含随机信道，纤维包含信念更新映射。
• 定义贝叶斯透镜范畴（BayesLens），其中视图映射为基范畴的态射，更新映射为纤维中的状态依赖信道。
• 使用抽象范畴论与离散和连续概率空间的具体构造，证明主要结果。
• 通过 Yoneda 嵌入将纤维透镜结构转换为等价的笛卡尔光学形式，从而实现标准透镜组合。
• 通过常值函子将基范畴信道提升至纤维中，以在先验信念背景下分析透镜定律。
• 利用图形同构与范畴自然性，验证精确贝叶斯透镜的 GetPut、PutGet 和 PutPut 定律。

实验结果

研究问题

• RQ1 复合随机过程的贝叶斯反演是否等于其各组成部分反演的组合？
• RQ2 贝叶斯推断能否在纤维范畴中形式化为一种透镜，其视图与更新映射依据概率理论结构化？
• RQ3 精确贝叶斯透镜在多大程度上满足标准数据库透镜定律（GetPut、PutGet、PutPut）？
• RQ4 贝叶斯更新中的信念混合如何导致 PutGet 和 PutPut 定律不成立，这对认知与控制论建模有何含义？

主要发现

• 本文证明了贝叶斯更新可光学组合：复合信道 X→Y→Z 的反演与 Y→Z 和 X→Y 反演的反向组合同构。
• 对于任何使信道可逆的先验信念 π，精确贝叶斯透镜均满足 GetPut 定律，即当观测与预测匹配时，信念保持不变。
• PutGet 和 PutPut 定律在一般情况下不适用于精确贝叶斯透镜，因为贝叶斯更新混合了先验与似然信息，而非覆盖或保持不变。
• PutGet 和 PutPut 定律的失效源于信念混合，这在概率推理中至关重要，但与数据库透镜的布尔性、确定性假设不兼容。
• 通过 Yoneda 嵌入，贝叶斯透镜的纤维范畴可转换为等价的笛卡尔光学形式，从而实现标准光学组合。
• 该框架支持混合贝叶斯透镜，其中竖直范畴与基范畴不同，从而为认知与控制论系统中的信念更新提供了更丰富的建模能力。