[論文レビュー] The structure of information: from probability to homology.

Juan Pablo Vigneaux|arXiv (Cornell University)|Sep 22, 2017

Topological and Geometric Data Analysis参考文献 14被引用数 6

ひとこと要約

本稿は、有限確率変数の一般化構造を形式化することで、情報理論におけるコhomology的枠組みを導入し、これらの構造の同型写像に関してコホモロジーが不変であることを示している。Tsallisエントロピーのホモロジー的性質を確立し、相対的自由バー構成と明示的な $H^1$ の計算を通じて、シャノンの公理の組み合わせ的根拠を提示している。

ABSTRACT

D. Bennequin and P. Baudot introduced a cohomological construction adapted to theory, called information (see The homological nature of Entropy, 2015). Our text serves as a detailed introduction to cohomology, containing the necessary background in probability theory and homological algebra. It makes explicit the link with topos theory, as introduced by Grothendieck, Verdier and their collaborators in the SGA IV. It also contains several new constructions and results. (1) We define generalized structures, as categories of finite random variables related by a notion of extension or refinement; probability spaces are models (or representations) for these general structures. Generalized structures form a category with finite products and coproducts. We prove that cohomology is invariant under isomorphisms of generalized structures. (2) We prove that the relatively-free bar construction gives a projective object for the computation of cohomology. (3) We provide detailed computations of $H^1$ and describe the degenerate cases. (4) We establish the homological nature of Tsallis entropy. (5) We re-interpret Shannon's axioms for a 'measure of choice' in the light of this theory and provide a combinatorial justification for his recurrence formula.

研究の動機と目的

• 有限確率変数の一般化構造を導入することで、情報理論におけるコホモロジー的基盤を構築すること。
• 一般化構造の同型写像に関してコホモロジーが不変であることを確立し、構造的安定性を保証すること。
• グローテンディークの SGA IV フレームワーク、特に圏論の視点を通じて、情報理論とトポス理論を結びつけること。
• Tsallisエントロピーの新しいホモロジー的解釈を提供し、シャノンの再帰公式の組み合わせ的根拠を示すこと。
• 相対的自由バー構成を導入・分析し、この文脈におけるコホモロジー計算の射影的道具としての役割を明らかにすること。

提案手法

• 有限確率変数のカテゴリとしての一般化構造を定義し、拡張または細分化を表す射を備え、有限積と余積を持つカテゴリを形成すること。
• コホモロジー計算のための射影的分解を獲得するために、相対的自由バー構成を用いること。
• $H^1$ を明示的に計算し、退化した場合の特徴を特定することで、第一コホモロジー類の構造を理解すること。
• コホモロジー類とエントロピー測度との対応を確立し、特にTsallisエントロピーがホモロジー的構成から自然に生じることを示すこと。
• シャノンの公理を圏論的およびコホモロジー的制約として再解釈し、バー構成を通じて再帰公式の組み合わせ的導出を行うこと。
• SGA IV におけるトポス的概念を応用し、情報系の圏論的および論理的構造を解釈すること。

実験結果

リサーチクエスチョン

• RQ1 有限確率変数の一般化構造を、有限積と余積を持つカテゴリとしてどのように形式化できるか。これにより確率的システムをモデル化できるか。
• RQ2 一般化構造の同型写像に関してコホモロジーが不変であるとはどのような意味か。情報不変量にどのような含意をもたらすか。
• RQ3 相対的自由バー構成が、この文脈におけるコホモロジー計算の射影的分解としてどのように機能するか。
• RQ4 この枠組み内でのTsallisエントロピーのホモロジー的解釈は何か。
• RQ5 「選択の尺度」としてのシャノンの公理は、コホモロジー的および圏論的構造を通じて再解釈・正当化可能か。

主な発見

• 一般化構造の同型写像に関してコホモロジーが不変であるため、同値な確率的モデル間でもコホモロジー的不変量が安定していることが保証される。
• 相対的自由バー構成により、射影的対象が得られ、一般化構造のカテゴリにおけるコホモロジー計算が有効に可能になる。
• $H^1$ の明示的計算が提供され、退化した場合の詳細な記述がなされ、第一コホモロジー類の構造的制約が明らかになった。
• Tsallisエントロピーはホモロジー的性質を持つことが示され、この枠組みにおいて自然にホモロジー的構成から生じることがわかった。
• シャノンの公理は圏論的言語に再解釈され、バー構成を通じて再帰公式に組み合わせ的根拠が与えられた。
• この枠組みは、情報理論、ホモロジー代数、トポス理論の深い結びつきを確立し、特にグローテンディークとベルジュエの SGA IV 形式主義を通じて実現された。