[論文レビュー] Universality of Zipf's Law

Bernat Corominas Murtra, Ricard V. Solé|arXiv (Cornell University)|Jan 15, 2010

Opinion Dynamics and Social Influence被引用数 4

ひとこと要約

本稿は、アルゴリズム的情報理論を用いてシステムをモデル化することで、Zipfの法則の普遍性を機械的メカニズムに依存しない説明を提示している。これは、確率的システムからの記号列のエントロピーが秩序と無秩序の間で均衡する際に、Zipfの法則が一意に現れるという結果である。主な結果は、システムの複雑さと情報量に関する穏やかで物理的に妥当な仮定のもとで、指数 ≈1 のべき乗則分布が避けがたく生じることである。

ABSTRACT

Zipf's law is the most common statistical distribution displaying scaling behavior. Cities, populations or firms are just examples of this seemingly universal law. Although many different models have been proposed, no general theoretical explanation has been shown to exist for its universality. Here we show that Zipf's law is, in fact, an inevitable outcome of a very general class of stochastic systems. Borrowing concepts from Algorithmic Information Theory, our derivation is based on the properties of the symbolic sequence obtained through successive observations over a system with an unbounded number of possible states. Specifically, we assume that the complexity of the description of the system provided by the sequence of observations is the one expected for a system evolving to a stable state between order and disorder. This result is obtained from a small set of mild, physically relevant assumptions. The general nature of our derivation and its model-free basis would explain the ubiquity of such a law in real systems.

研究の動機と目的

• 都市の規模、語彙頻度、企業の規模分布など、多様なシステムに広く見られるZipfの法則の理由を説明すること。
• 確率的システムにおいてZipfの法則が避けがたく生じる、一般的でメカニズムに依存しない条件を特定すること。
• アルゴリズム的情報理論とエントロピーの挙動の基本的原則から、Zipfの法則の出現を導出すること。
• システムの複雑さが秩序と無秩序のバランスを保つとき、指数 γ ≈ 1 が一意の解であることを示すこと。

提案手法

• システムの観測系列を、その状態の時間的変化を表す記号列としてモデル化する。
• コルモゴロフ・コンプレックスィティを用いて、記号列のアルゴリズム的情報量を定量化する。
• 正規化エントロピー h(n, γ) = H(n, γ)/log n を用いて、システムサイズ n の増大に伴うスケーリング挙動を分析する。
• 異なるべき乗則指数（γ < 1、γ = 1、γ > 1）におけるエントロピーの漸近的解を導出する。
• γ = 1 の場合にのみ、正規化エントロピー h(n, γ) が 1 に収束することを確立し、支配的でない最大の複雑性を示す。
• リーマン・ゼータ関数と級数の収束性の性質を用いて、γ > 1 の場合にエントロピーが有界であり、γ < 1 の場合に発散することを証明する。

実験結果

リサーチクエスチョン

• RQ1 なぜ指数 ≈1 のZipfの法則が、関係のない自然的・社会的システムに広く見られるのか？
• RQ2 情報理論的原則から、普遍的でメカニズムに依存しないZipfの法則の説明を導くことができるか？
• RQ3 アルゴリズム的複雑性は、確率的システムのスケーリング挙動にどのように寄与するのか？
• RQ4 システムの状態系列の正規化エントロピーが 1 に収束するのはどのような条件下か？ これはZipf的スケーリングを示唆する。
• RQ5 なぜ指数 γ = 1 が多様なシステムにわたって一意に安定的かつ頑健なのか？

主な発見

• 正規化エントロピー h(n, γ) は、べき乗則指数が正確に γ = 1 の場合にのみ 1 に収束し、秩序と無秩序の唯一のバランスを示す。
• べき乗則指数 γ > 1 の場合、正規化エントロピー h(n, γ) は 0 に近づき、複雑性が有界で、大規模構造が支配的であることを示す。
• べき乗則指数 γ < 1 の場合、正規化エントロピー h(n, γ) は発散し、複雑性が無限大で安定したスケーリングがないことを示す。
• γ = 1 の場合、エントロピー H(n, γ) はシステムサイズ n に対して対数的に増加し、Zipfの法則の出現と整合的である。
• この結果は、無限大の状態空間、確率的時間発展、秩序と無秩序のバランスを保つ複雑さという、穏やかで物理的に妥当な仮定のもとで成り立つ。
• 導出はモデルフリーであり、アルゴリズム的情報理論にのみ依拠しており、Zipfの法則の頑健さと普遍性を多様なシステムにわたって説明する。