[論文レビュー] The Distributions in Nature and Entropy Principle

Oded Kafri|ArXiv.org|Jul 28, 2009

Benford’s Law and Fraud Detection参考文献 7被引用数 5

ひとこと要約

本稿では、最大エントロピー原理が統計系において自然に釣鐘型および長尾型の確率分布を生じることを提案している。粒子をボックスに分配する系をエントロピー最大化の下でモデル化することで、Zipfの法則、Paretoの20:80則、Benfordの法則を正確に再現する長尾型分布が導かれる。これは、これらの経験則的パワー則が根本的な熱力学的原理から生じることを示している。

ABSTRACT

The derivation of the maximum entropy distribution of particles in boxes yields two kinds of distributions: a "bell-like" distribution and a long-tail distribution. The first one is obtained when the ratio between particles and boxes is low, and the second one - when the ratio is high. The obtained long tail distribution yields correctly the empirical Zipf law, Pareto's 20:80 rule and Benford's law. Therefore, it is concluded that the long tail and the "bell-like" distributions are outcomes of the tendency of statistical systems to maximize entropy.

研究の動機と目的

• 自然における経験則的パワー則分布（例：Zipfの法則、Benfordの法則）の起源を調査すること。
• これらの分布が、エントロピー最大化のような根本的な物理的原理から生じるかどうかを特定すること。
• 統計系において、釣鐘型と長尾型の異なる分布形状がどのようにして出現するかを分析すること。
• エントロピー最大化と自然界の観察されるマクロスコピックな統計的パターンを結びつける統一的枠組みを確立すること。

提案手法

• 同一の粒子が離散的なボックスに分配される系をモデル化し、制約付きの組み合わせ問題として扱う。
• 全粒子数とボックス数が固定されている条件下で、粒子がボックスに分配される最確率分布を最大エントロピー原理を用いて導出する。
• 低粒子数/ボックス比（低比）と高粒子数/ボックス比（高比）の2つの領域に分ける。
• 高比領域では、長尾型分布が解析的に導出され、Zipfの法則およびBenfordの法則の関数形と一致することが示される。
• 主に組み合わせ的数え上げと漸近的解析を用いて、支配的となる分布構成を同定する。
• 導出された分布を、20:80則や対数的桁数頻度といった経験的データパターンと比較することで妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 最大エントロピー原理は、自然および社会現象に観察される長尾型分布の出現を説明できるか？
• RQ2 粒子-ボックス系において、釣鐘型と長尾型の分布がそれぞれどのような条件下で出現するか？
• RQ3 エントロピー最大化分布は、Zipfの法則やBenfordの法則といった経験則的法則を再現できるか？
• RQ4 粒子数とボックス数の比が、得られる分布の形状にどのように影響するか？
• RQ5 自然における普遍的な統計的パターンは、エントロピー最大化のような単一の根本的物理的原理から導けるか？

主な発見

• 粒子-ボックス比が低い場合、最大エントロピー原理は集中的かつ対称的な分布に対応する釣鐘型分布を与える。
• 粒子-ボックス比が高い場合、エントロピー最大化分布は長尾型となり、経験的データで観察されるパワー則の形と一致する。
• 導出された長尾型分布は、ランク-周波数関係が1/rのパワー則に従うという点で、Zipfの法則を正確に再現する。
• 同じ分布はParetoの20:80則を説明でき、少数のボックスが多数の粒子を占めることを示している。
• モデルはBenfordの法則を再現し、自然データセットにおける先頭桁の対数的分布を予測できる。
• 結果から、自然界におけるパワー則および対数的分布の広がりは、統計系におけるエントロピー最大化の結果であると考えられる。