[論文レビュー] Lectures on Probability, Entropy, and Statistical Physics

Ariel Caticha|arXiv (Cornell University)|Jul 31, 2008

Statistical Mechanics and Entropy参考文献 77被引用数 39

ひとこと要約

本稿では、一貫性の原則から確率論と統計力学を導出する統一的枠組みとして、最大エントロピー（ME）法を提示する。相対エントロピーが制約下での信念の更新を一意に定め、ベイズの定理とMaxEntを一般化し、熱力学的系のゆらぎに対して座標不変性を満たすヤコビアン補正を含む正確な結果を示す。

ABSTRACT

These lectures deal with the problem of inductive inference, that is, the problem of reasoning under conditions of incomplete information. Is there a general method for handling uncertainty? Or, at least, are there rules that could in principle be followed by an ideally rational mind when discussing scientific matters? What makes one statement more plausible than another? How much more plausible? And then, when new information is acquired how do we change our minds? Or, to put it differently, are there rules for learning? Are there rules for processing information that are objective and consistent? Are they unique? And, come to think of it, what, after all, is information? It is clear that data contains or conveys information, but what does this precisely mean? Can information be conveyed in other ways? Is information physical? Can we measure amounts of information? Do we need to? Our goal is to develop the main tools for inductive inference--probability and entropy--from a thoroughly Bayesian point of view and to illustrate their use in physics with examples borrowed from the foundations of classical statistical physics.

研究の動機と目的

• 不完全な情報下での帰納的推論のための一貫性があり、客観的な枠組みを確立すること。
• 一貫性と合理性の原則から出発し、確率とエントロピーに関する基礎的曖昧性を解消すること。
• ベイズ更新とMaxEntを、任意の事前分布と制約を扱える単一の形式的枠組み「最大エントロピー（ME）」で統一すること。
• 統計力学を、単なる現象論ではなく、帰納的推論の形式として厳密に基礎づけること。
• 情報とは、合理的な信念を制約し、信念の更新を必要とするものであるという本質を明確にすること。

提案手法

• 一貫性のある推論のコーブスの公理から確率論を導出し、積則と和則に至る。
• 新しい制約を獲得した際の信念の更新ルールとして、最大エントロピー（ME）法を導入する。
• 局所性、座標不変性、同一および非同一な部分系に対する一貫性の公理を用いて、相対エントロピーの更新則を導出する。
• エントロピーのルジャンドル変換を用いて、熱力学的変数の正確なゆらぎ分布を導出し、座標不変性を満たすヤコビアン因子 $ g^{1/2}(F) $ を含む。
• ME法を用いて正準分布を導出し、標準的な指数関数的形が大偏差近似として現れることを示す。
• 情報幾何を用いて、フィッシャー計量と相対エントロピーを統計多様体における区別可能性の尺度として解釈する。

実験結果

リサーチクエスチョン

• RQ1 不確実性下での推論に確率とエントロピーを用いる根拠となる基本的原則は何か？
• RQ2 新しい情報が得られた際、信念を一意に定義する更新則は何か？
• RQ3 ベイズ推論とMaxEntは、一貫した統一的枠組みで統合可能か？
• RQ4 座標不変性は、確率分布の更新において果たす役割は何か？
• RQ5 幾何的および情報理論的効果により、熱力学的変数のゆらぎは標準的な正準予測からどの程度逸脱するか？

主な発見

• ME法は、制約下での信念の更新を一意に定め、相対エントロピーが唯一の一貫した更新則である。
• 系のゆらぎの正確な確率分布は、$ p(F)dF = \frac{1}{\tilde{\rho}} e^{S(F) - \boldsymbol{\nu} \boldsymbol{\bullet} F} g^{1/2}(F) dF $ であり、座標不変性を満たすヤコビアン因子 $ g^{1/2}(F) $ を含む。
• フィッシャー計量は、エントロピーの2階微分から自然に導かれる：$ g_{ij} = -\frac{\boldsymbol{\nabla}^2 S(F)}{\boldsymbol{\nabla}^2 F^i F^j} $ であり、情報幾何と統計力学を結びつける。
• ラグランジュ乗数とゆらぎを示す観測量の相関は、$ \big\bracevert \boldsymbol{\nu}_i \boldsymbol{\nu}_j \big\bracevert = -\frac{\boldsymbol{\nabla} \big\bracevert \boldsymbol{\nu}_i \big\bracevert}{\boldsymbol{\nabla} \boldsymbol{\nu}_j} + (\boldsymbol{\nu}_{0i} - \big\bracevert \boldsymbol{\nu}_i \big\bracevert)(F_{0j} - \big\bracevert F_j \big\bracevert) $ であり、鋭い最大値極限では $ -\boldsymbol{\nabla}_i^j $ に簡略化される。
• ベイズの定理は、データによる制約の更新がなされる場合のME法の特殊ケースとして示される。
• この方法により、利用可能な情報によって最大エントロピーでない分布がどの程度除外されるかを評価する基準が得られ、事前分布に恣意的な仮定を必要としない。