[論文レビュー] Maximum Entropy: The Universal Method for Inference

Adom Giffin|ArXiv.org|Jan 20, 2009

Statistical Mechanics and Entropy参考文献 34被引用数 8

ひとこと要約

本稿では、最大エントロピー（ME）手法を帰納的推論の普遍的枠組みとして導入し、データ制約とモーメント制約を同時に処理できることを示すことで、ベイズ更新とMaxEnt推論を統合する。主な貢献は、ベイズの定理とMaxEntの両方を一般化する汎用的な正準事後分布の導出であり、ベイズ的手法とエントロピーに基づく手法の整合性を証明するとともに、多様な情報タイプを同時に取り扱える仕組みを提供する。

ABSTRACT

In this thesis we start by providing some detail regarding how we arrived at our present understanding of probabilities and how we manipulate them - the product and addition rules by Cox. We also discuss the modern view of entropy and how it relates to known entropies such as the thermodynamic entropy and the information entropy. Next, we show that Skilling's method of induction leads us to a unique general theory of inductive inference, the ME method and precisely how it is that other entropies such as those of Renyi or Tsallis are ruled out for problems of inference. We then explore the compatibility of Bayes and ME updating. We show that ME is capable of producing every aspect of orthodox Bayesian inference and proves the complete compatibility of Bayesian and entropy methods. The realization that the ME method incorporates Bayes' rule as a special case allows us to go beyond Bayes' rule and to process both data and expected value constraints simultaneously. We discuss the general problem of non-commuting constraints, when they should be processed sequentially and when simultaneously. The generic "canonical" form of the posterior distribution for the problem of simultaneous updating with data and moments is obtained. This is a major achievement since it shows that ME is not only capable of processing information in the form of constraints, like MaxEnt and information in the form of data, as in Bayes' Theorem, but also can process both forms simultaneously, which Bayes and MaxEnt cannot do alone. Finally, we illustrate some potential applications for this new method by applying ME to potential problems of interest.

研究の動機と目的

• ベイズ的手法と最大エントロピー手法を統合する普遍的で一般的な帰納的推論の理論を確立すること。
• ベイズ的手法とエントロピーに基づく手法が制約とデータを処理する際に互いに整合可能かどうかという長年の問いを解消すること。
• データと期待値制約が同時に存在する場合の事後分布の正準形を導出すること。
• リーマンやツァリスのエントロピーなどの代替エントロピーが、ME枠組み下での帰納的推論の原則と整合しないことを示すこと。
• モーメント制約を原理的かつ整合的に組み込むことで、伝統的なベイズの定理を超えた推論の範囲を拡張すること。

提案手法

• 可能性に関するコックスの積と和の法則に基づきME手法を導出し、帰納的推論の一意的な一般理論を確立する。
• スキンリングの帰納の原則を適用してME形式を導出し、制約下での事後分布が一意に決定されることを示す。
• 新しい情報が得られた際の信念の更新に、最小交差エントロピー（または最大相対エントロピー）の原理を用いる。
• データとモーメント制約を同時に含む問題に対して、正準事後分布を閉形式で導出する。これは、ベイズの定理とMaxEntの両方を一般化する。
• データをハード制約、期待値をソフト制約として扱い、単一の変分原理により同時に更新可能である。
• データのみが存在する場合にベイズ更新と整合し、モーメント制約のみが存在する場合にMaxEntと整合することが示される。

実験結果

リサーチクエスチョン

• RQ1 単一の推論手法が、ベイズ更新と最大エントロピー推論を統合可能か？
• RQ2 データとモーメント制約を一貫的かつ整合的に同時に処理する方法は何か？
• RQ3 リーマンやツァリスのエントロピーが、ME枠組み下での帰納的推論となぜ整合しないのか？
• RQ4 データと期待値制約が同時に存在する場合の事後分布の正準形は何か？
• RQ5 ME手法は完全にベイズの定理と整合可能か？もしそうなら、どのようにそれ以上に拡張されるか？

主な発見

• ME手法は、データ制約のみが存在する場合にベイズの定理が特殊ケースとして得られることを示し、ベイズの定理とMaxEntの両方を一意に一般化する。
• データとモーメント制約を同時に処理する際の、汎用的な正準事後分布の形が得られる。
• 導出により、ME枠組み下での帰納的推論の原則と整合するのは、標準的（ボルツマン＝ギブス＝シャノン）エントロピーに限ることが証明され、リーマンやツァリスのエントロピーは除外される。
• MEはベイズ推論と完全に整合可能であり、両手法は単に一貫しているだけでなく、異なる種類の情報を処理する点で補完的である。
• 本手法により、データと期待値制約を同時に処理できる能力が得られ、これはベイズの定理やMaxEnt単体では達成できない。
• MEを用いて導出された正準事後分布は、すべての制約を満たす中で情報量の増加を最小にする一意な解であることが示された。