[论文解读] A Bayesian Characterization of Relative Entropy

John C. Baez, T. A. Fritz|arXiv (Cornell University)|Feb 13, 2014

Receptor Mechanisms and Signaling参考文献 5被引用 22

一句话总结

本文在贝叶斯框架下，利用范畴论对相对熵（Kullback–Leibler散度）提供了新颖的公理化刻画。它在包含有限概率空间、测量过程及随机逆映射的范畴 FinStat 上定义了一个函子，并证明：相对熵是唯一满足下半连续性、凸线性性且在假设最优时消失的下确界函数，至多相差一个标量倍数。

ABSTRACT

We give a new characterization of relative entropy, also known as the Kullback-Leibler divergence. We use a number of interesting categories related to probability theory. In particular, we consider a category FinStat where an object is a finite set equipped with a probability distribution, while a morphism is a measure-preserving function $f: X o Y$ together with a stochastic right inverse $s: Y o X$. The function $f$ can be thought of as a measurement process, while s provides a hypothesis about the state of the measured system given the result of a measurement. Given this data we can define the entropy of the probability distribution on $X$ relative to the "prior" given by pushing the probability distribution on $Y$ forwards along $s$. We say that $s$ is "optimal" if these distributions agree. We show that any convex linear, lower semicontinuous functor from FinStat to the additive monoid $[0,\infty]$ which vanishes when $s$ is optimal must be a scalar multiple of this relative entropy. Our proof is independent of all earlier characterizations, but inspired by the work of Petz.

研究动机与目标

• 提供一种新的相对熵公理化刻画，明确纳入贝叶斯先验与推断。
• 利用范畴论形式化概率论中测量与信念更新的概念。
• 将相对熵识别为从范畴 FinStat 到 [0,∞] 的唯一函子，满足自然的结构与连续性条件。
• 通过范畴框架嵌入先验，阐明其在信息增益中的作用。
• 为范畴概率论与贝叶斯推断中的信息论概念建立基础。

提出的方法

• 引入范畴 FinStat，其对象为带有概率分布的有限集，态射由保测度映射 f:X→Y 和其随机右逆 s:Y→X 组成。
• 通过随机逆 s 将 Y 上的分布向前拉回到 X，构造 X 上的先验分布，得到 p_x = s_{x f(x)} r_{f(x)}。
• 为每个态射 (f,s) 分配相对熵 S(q,p)，表示从先验 p 更新到真实分布 q 时的信息增益。
• 证明映射 (f,s) ↦ S(q,p) 构成从 FinStat 到加法幺半群 [0,∞] 的函子。
• 将相对熵刻画为唯一满足凸线性性、下半连续性且在随机逆 s 最优时消失的函子。
• 利用范畴工具，包括操作代数与凸代数，形式化概率分布及其组合的结构。

实验结果

研究问题

• RQ1 在贝叶斯概率设定下，哪些结构性质能唯一刻画相对熵？
• RQ2 如何利用范畴论形式化概率论中的测量与信念更新？
• RQ3 何种条件可确保从 FinStat 到 [0,∞] 的函子必为相对熵的标量倍数？
• RQ4 为何下半连续性是此类刻画的必要条件？
• RQ5 相对熵能否从涉及最优性与凸性的范畴公理中推导而出？

主要发现

• 相对熵是唯一从 FinStat 到 [0,∞] 的函子，满足凸线性性、下半连续性，且在随机逆 s 最优时消失。
• 函子结构确保复合测量过程的相对熵等于其各组成部分相对熵之和。
• 先验分布通过随机逆 s 与 Y 上的测量分布构造，形式化了贝叶斯信念更新过程。
• 下半连续性至关重要：相对熵在概率单纯形的积上不连续，但具有下半连续性。
• 该刻画独立于先前的刻画方式，如 Petz 或其他基于不同公理体系的刻画。
• 该框架自然嵌入拓扑范畴中，[0,∞] 配备上拓扑构成凸代数，从而支持函子的构造。