[论文解读] The structure of information: from probability to homology.

Juan Pablo Vigneaux|arXiv (Cornell University)|Sep 22, 2017

Topological and Geometric Data Analysis参考文献 14被引用 6

一句话总结

本文通过形式化有限随机变量的广义结构，并证明上同调在这些结构的同构下不变，为信息论引入了一个上同调框架。它确立了Tsallis熵的同调本质，并通过相对自由的bar构造与$H^1$的显式计算，为Shannon公理提供了组合学解释。

ABSTRACT

D. Bennequin and P. Baudot introduced a cohomological construction adapted to theory, called information (see The homological nature of Entropy, 2015). Our text serves as a detailed introduction to cohomology, containing the necessary background in probability theory and homological algebra. It makes explicit the link with topos theory, as introduced by Grothendieck, Verdier and their collaborators in the SGA IV. It also contains several new constructions and results. (1) We define generalized structures, as categories of finite random variables related by a notion of extension or refinement; probability spaces are models (or representations) for these general structures. Generalized structures form a category with finite products and coproducts. We prove that cohomology is invariant under isomorphisms of generalized structures. (2) We prove that the relatively-free bar construction gives a projective object for the computation of cohomology. (3) We provide detailed computations of $H^1$ and describe the degenerate cases. (4) We establish the homological nature of Tsallis entropy. (5) We re-interpret Shannon's axioms for a 'measure of choice' in the light of this theory and provide a combinatorial justification for his recurrence formula.

研究动机与目标

• 通过引入有限随机变量的广义结构，为信息论建立上同调基础。
• 确立上同调在广义结构同构下的不变性，确保结构鲁棒性。
• 通过Grothendieck的SGA IV框架，特别是范畴论的视角，将信息论与拓扑斯理论联系起来。
• 为Tsallis熵提供新的同调解释，并通过bar构造的组合学方法为Shannon的递推公式提供解释。
• 引入并分析相对自由的bar构造，作为该语境下上同调计算的投射工具。

提出的方法

• 将广义结构定义为有限随机变量的范畴，其态射表示扩展或细化，形成具有有限积与余积的范畴。
• 使用相对自由的bar构造，为广义结构范畴中的上同调计算获得投射化解析。
• 显式计算$H^1$，并表征退化情形，以理解第一上同调类的结构。
• 建立上同调类与熵度量之间的对应关系，特别证明Tsallis熵自然源于一种同调构造。
• 将Shannon公理重新解释为范畴论与上同调约束，并通过bar构造的组合学推导其递推公式。
• 应用SGA IV中的拓扑斯理论概念，以解释信息系统的范畴与逻辑结构。

实验结果

研究问题

• RQ1 如何将有限随机变量的广义结构形式化为具有有限积与余积的范畴，以建模概率系统？
• RQ2 上同调在广义结构同构下为何保持不变？这又对信息不变量意味着什么？
• RQ3 相对自由的bar构造在此语境下如何作为上同调计算的投射化解析？
• RQ4 在该框架中，Tsallis熵的同调解释是什么？
• RQ5 Shannon对‘选择度量’的公理能否通过同调与范畴结构重新解释并得到验证？

主要发现

• 上同调在广义结构同构下保持不变，确保了上同调不变量在等价概率模型间具有鲁棒性。
• 相对自由的bar构造产生一个投射对象，使得在广义结构范畴中能有效计算上同调。
• 提供了$H^1$的显式计算，包括对退化情形的详细描述，揭示了第一上同调类的结构约束。
• 证明了Tsallis熵具有同调本质，其自然源于该框架中的同调构造。
• Shannon对‘选择度量’的公理被重新解释为范畴论语言，其递推公式通过bar构造获得了组合学解释。
• 该框架通过Grothendieck与Verdier的SGA IV形式化，建立了信息论、同调代数与拓扑斯理论之间的深层联系。