[论文解读] Maximum Entropy: The Universal Method for Inference

Adom Giffin|ArXiv.org|Jan 20, 2009

Statistical Mechanics and Entropy参考文献 34被引用 8

一句话总结

本文提出最大熵（ME）方法作为一种归纳推理的通用框架，通过证明ME可同时处理数据和矩约束，统一了贝叶斯更新与最大熵推理。关键贡献在于推导出一种通用的共形后验分布，该分布同时推广了贝叶斯法则与最大熵方法，证明了贝叶斯方法与基于熵的方法在处理约束时的兼容性，同时实现了对不同类型信息的并行处理。

ABSTRACT

In this thesis we start by providing some detail regarding how we arrived at our present understanding of probabilities and how we manipulate them - the product and addition rules by Cox. We also discuss the modern view of entropy and how it relates to known entropies such as the thermodynamic entropy and the information entropy. Next, we show that Skilling's method of induction leads us to a unique general theory of inductive inference, the ME method and precisely how it is that other entropies such as those of Renyi or Tsallis are ruled out for problems of inference. We then explore the compatibility of Bayes and ME updating. We show that ME is capable of producing every aspect of orthodox Bayesian inference and proves the complete compatibility of Bayesian and entropy methods. The realization that the ME method incorporates Bayes' rule as a special case allows us to go beyond Bayes' rule and to process both data and expected value constraints simultaneously. We discuss the general problem of non-commuting constraints, when they should be processed sequentially and when simultaneously. The generic "canonical" form of the posterior distribution for the problem of simultaneous updating with data and moments is obtained. This is a major achievement since it shows that ME is not only capable of processing information in the form of constraints, like MaxEnt and information in the form of data, as in Bayes' Theorem, but also can process both forms simultaneously, which Bayes and MaxEnt cannot do alone. Finally, we illustrate some potential applications for this new method by applying ME to potential problems of interest.

研究动机与目标

• 建立一个统一的、普遍的归纳推理理论，涵盖贝叶斯方法与最大熵方法。
• 解决长期存在的问题：即贝叶斯方法与基于熵的方法在处理约束与数据时是否兼容。
• 推导出在同时存在数据与期望值约束时的后验分布的共形形式。
• 证明其他熵形式（如Rényi熵、Tsallis熵）在ME框架下与归纳推理原则不兼容。
• 通过有原则地引入矩约束，将推理范围扩展至传统贝叶斯法则之外。

提出的方法

• 从Cox的可置信度乘法与加法规则出发推导ME方法，建立唯一的普遍归纳推理理论。
• 应用Skilling的归纳原理推导ME形式化，唯一确定在约束条件下的后验分布。
• 使用最小交叉熵（或最大相对熵）原理，在引入新信息时更新信念。
• 对于同时涉及数据与矩约束的问题，推导出后验分布的闭式解，该解同时推广了贝叶斯定理与最大熵方法。
• 该方法将数据视为硬约束，将期望值视为软约束，通过单一变分原理实现并行更新。
• 当仅存在数据时，该方法与贝叶斯更新一致；当仅存在矩约束时，与最大熵方法一致。

实验结果

研究问题

• RQ1 是否存在一种单一的推理方法，能够统一贝叶斯更新与最大熵推理？
• RQ2 如何以一致且连贯的方式并行处理数据与矩约束？
• RQ3 为何Rényi熵或Tsallis熵在ME框架下与归纳推理原则不兼容？
• RQ4 当同时存在数据与期望值约束时，后验分布的共形形式是什么？
• RQ5 ME方法是否与贝叶斯法则完全兼容？若是，它如何超越贝叶斯法则？

主要发现

• ME方法唯一地推广了贝叶斯法则与最大熵方法，证明当仅存在数据约束时，贝叶斯法则即为ME的一个特例。
• 当同时处理数据与矩约束时，该方法提供了后验分布的通用共形形式。
• 推导证明，在ME框架下，仅标准（Boltzmann-Gibbs-Shannon）熵与归纳推理原则兼容，排除了Rényi熵与Tsallis熵。
• ME与贝叶斯推理完全兼容，两种方法不仅一致，而且在处理不同类型信息时具有互补性。
• 该方法实现了对数据与期望值约束的并行处理，这是仅靠贝叶斯定理或最大熵方法本身无法实现的能力。
• 通过ME推导出的共形后验分布被证明是唯一满足所有给定约束且最小化信息增益的解。