[论文解读] Combinatorial Information Theory: I. Philosophical Basis of Cross-Entropy and Entropy

Robert K. Niven|ArXiv.org|Dec 1, 2005

Statistical Mechanics and Entropy参考文献 100被引用 19

一句话总结

本文确立了组合基础作为熵与交叉熵最根本的依据，通过斯特林近似从多项分布推导出香农与库尔贝克-利布勒度量。它提出了适用于非多项分布系统的广义熵与交叉熵定义，从而实现统计力学、推理与信息科学中统一的‘组合信息论’。

ABSTRACT

This study critically analyses the information-theoretic, axiomatic and combinatorial philosophical bases of the entropy and cross-entropy concepts. The combinatorial basis is shown to be the most fundamental (most primitive) of these three bases, since it gives (i) a derivation for the Kullback-Leibler cross-entropy and Shannon entropy functions, as simplified forms of the multinomial distribution subject to the Stirling approximation; (ii) an explanation for the need to maximize entropy (or minimize cross-entropy) to find the most probable realization; and (iii) new, generalized definitions of entropy and cross-entropy - supersets of the Boltzmann principle - applicable to non-multinomial systems. The combinatorial basis is therefore of much broader scope, with far greater power of application, than the information-theoretic and axiomatic bases. The generalized definitions underpin a new discipline of ``{\it combinatorial information theory}'', for the analysis of probabilistic systems of any type. Jaynes' generic formulation of statistical mechanics for multinomial systems is re-examined in light of the combinatorial approach. (abbreviated abstract)

研究动机与目标

• 重新评估熵与交叉熵的哲学基础，挑战信息论与公理化方法的优先地位。
• 证明组合方法——根植于玻尔兹曼与普朗克——是熵概念最根本且最原始的基础。
• 通过斯特林近似，将香农熵与库尔贝克-利布勒熵函数作为多项分布的简化形式推导而出。
• 将熵与交叉熵推广至非多项分布系统，使其可应用于玻色-爱因斯坦、费米-狄拉克与蔡尔斯等非标准分布。
• 在任意类型概率系统的统一组合框架下，整合统计力学、信息论与贝叶斯推断。

提出的方法

• 利用斯特林近似，从多项分布推导出库尔贝克-利布勒交叉熵与香农熵。
• 以熵的组合定义 S = k ln W 作为基础原理，其中 W 为宏观态的统计权重。
• 将最大熵原理（或最小交叉熵）作为在组合计数框架下寻找最可能宏观态的推论。
• 引入广义熵与交叉熵函数，将玻尔兹曼原理扩展至非多项分布系统。
• 通过其底层组合结构重新解释其他熵度量（如黎尼、蔡尔斯、夏马-米塔尔）。
• 基于组合基础重新审视戴恩斯的最大熵形式体系，推导出新关系，如广义克拉修斯不等式与自由信息函数。

实验结果

研究问题

• RQ1 为何熵的组合基础比信息论或公理化方法更具根本性？
• RQ2 如何从组合原理而非假设公理推导香农与库尔贝克-利布勒熵函数？
• RQ3 最可能宏观态在证明熵最大化或交叉熵最小化中的作用是什么？
• RQ4 熵与交叉熵能否超越多项分布系统进行推广？若能，如何实现？
• RQ5 组合方法如何统一统计力学、信息论与贝叶斯推断？

主要发现

• 组合基础——根植于玻尔兹曼的 W = Ω——为香农熵与库尔贝克-利布勒交叉熵提供了最根本的推导，二者均为多项分布经斯特林公式近似的结果。
• 最大化熵（或最小化交叉熵）并非任意原则，而是组合框架下识别最可能宏观态的直接结果。
• 提出了广义熵与交叉熵函数，将玻尔兹曼原理扩展至非多项分布系统，使其可应用于量子统计及其他非标准分布。
• 本文推导出广义克拉修斯不等式、广义自由能函数（