[论文解读] Lectures on Probability, Entropy, and Statistical Physics

Ariel Caticha|arXiv (Cornell University)|Jul 31, 2008

Statistical Mechanics and Entropy参考文献 77被引用 39

一句话总结

本文提出最大熵（ME）方法作为归纳推理的统一框架，从一致性原则推导出概率论与统计力学。结果表明，相对熵是唯一在约束条件下更新信念的方法，推广了贝叶斯规则与MaxEnt方法，通过坐标不变的雅可比校正项精确描述了热力学系统的涨落行为。

ABSTRACT

These lectures deal with the problem of inductive inference, that is, the problem of reasoning under conditions of incomplete information. Is there a general method for handling uncertainty? Or, at least, are there rules that could in principle be followed by an ideally rational mind when discussing scientific matters? What makes one statement more plausible than another? How much more plausible? And then, when new information is acquired how do we change our minds? Or, to put it differently, are there rules for learning? Are there rules for processing information that are objective and consistent? Are they unique? And, come to think of it, what, after all, is information? It is clear that data contains or conveys information, but what does this precisely mean? Can information be conveyed in other ways? Is information physical? Can we measure amounts of information? Do we need to? Our goal is to develop the main tools for inductive inference--probability and entropy--from a thoroughly Bayesian point of view and to illustrate their use in physics with examples borrowed from the foundations of classical statistical physics.

研究动机与目标

• 建立在不完全信息下进行归纳推理的一致且客观的框架。
• 通过一致性与理性原则推导概率与熵，解决其基础性模糊性问题。
• 在单一形式体系——最大熵（ME）方法中统一贝叶斯更新与MaxEnt方法，适用于任意先验与约束条件。
• 为统计力学提供严格的归纳推理基础，而非仅经验性描述。
• 阐明信息的本质：即约束理性信念并导致信念更新的要素。

提出的方法

• 从科克斯的一致推理公理出发推导概率论，导出乘法与加法规则。
• 引入最大熵（ME）方法作为在获得新约束时唯一更新信念的规则。
• 利用局部性、坐标不变性以及对相同与不同子系统一致性的公理，推导出相对熵更新规则。
• 通过熵的勒让德变换，推导出热力学变量的精确涨落分布，包含坐标不变的雅可比因子 $ g^{1/2}(F) $。
• 将ME方法应用于推导规范分布，表明标准指数形式为大偏差近似结果。
• 利用信息几何解释费舍尔度量与相对熵作为统计流形中可区分性的度量。

实验结果

研究问题

• RQ1 在不确定性推理中，支撑概率与熵使用的基本原则是什么？
• RQ2 当获得新信息时，如何唯一地定义信念更新规则？
• RQ3 贝叶斯推理与MaxEnt能否在单一、一致的框架下统一？
• RQ4 坐标不变性在概率分布更新中起什么作用？
• RQ5 由于几何与信息理论效应，热力学变量的涨落如何偏离标准规范预测？

主要发现

• ME方法唯一确定了在约束条件下信念的更新方式，相对熵是唯一一致的更新规则。
• 系统涨落的精确概率分布为 $ p(F)dF = \frac{1}{\tilde{\rho}} e^{S(F) - \boldsymbol{\nu} \boldsymbol{\bullet} F} g^{1/2}(F) dF $，其中包含用于坐标不变性的雅可比因子 $ g^{1/2}(F) $。
• 费舍尔度量自然地由熵的二阶导数导出：$ g_{ij} = -\frac{\boldsymbol{\nabla}^2 S(F)}{\boldsymbol{\nabla}^2 F^i F^j} $，将信息几何与统计力学联系起来。
• 拉格朗日乘子与涨落可观测量之间的协方差为 $ \big\bracevert \boldsymbol{\nu}_i \boldsymbol{\nu}_j \big\bracevert = -\frac{\boldsymbol{\nabla} \big\bracevert \boldsymbol{\nu}_i \big\bracevert}{\boldsymbol{\nabla} \boldsymbol{\nu}_j} + (\boldsymbol{\nu}_{0i} - \big\bracevert \boldsymbol{\nu}_i \big\bracevert)(F_{0j} - \big\bracevert F_j \big\bracevert) $，在尖锐最大值极限下简化为 $ -\boldsymbol{\nabla}_i^j $。
• 贝叶斯规则被证明是当约束通过数据更新时ME方法的特例。
• 该方法提供了一项判据，用于评估非最大熵分布被现有信息排除的程度，且对先验无任意假设。