[論文レビュー] Zipf's law and L. Levin's probability distributions

Yuri I. Manin|arXiv (Cornell University)|Jan 3, 2013

Computability, Logic, AI Algorithms参考文献 14被引用数 4

ひとこと要約

この論文は、L. レヴィンの事前確率分布とコルモゴロフ複雑性を組み合わせることで、言語における語の周波数分布として観察されるジフの法則（力学的分布）が自然に生じることを提案する。語のランク付けが指数的複雑性と相関すること、およびレヴィンの分布が前綴付きコルモゴロフ複雑性の逆数に比例する確率を割り当てるという事実を示し、著者たちは、根本的なアルゴリズム的情報理論の原則から、指数 -1 のジフの法則が導かれるのである。

ABSTRACT

Zipf's law in its basic incarnation is an empirical probability distribution governing the frequency of usage of words in a language. As Terence Tao recently remarked, it still lacks a convincing and satisfactory mathematical explanation. In this paper I suggest that at least in certain situations, Zipf's law can be explained as a special case of the a priori distribution introduced and studied by L. Levin. The Zipf ranking corresponding to diminishing probability appears then as the ordering determined by the growing Kolmogorov complexity. One argument justifying this assertion is the appeal to a recent interpretation by Yu. Manin and M. Marcolli of asymptotic bounds for error--correcting codes in terms of phase transition. In the respective partition function, Kolmogorov complexity of a code plays the role of its energy. This version contains minor corrections and additions.

研究の動機と目的

• ジフの法則は、実証的に広く観察されるが、完全に満足のいく理論的基盤を欠いているため、その数学的説明を提供すること。
• 語の頻度をコルモゴロフ複雑性に関連付けることで、ジフの法則をアルゴリズム的情報理論に結びつけること。
• ジフの法則における逆頻度ランク付けが、乗法的定数の範囲内で増加するコルモゴロフ複雑性に対応することを示すこと。
• 構造的で生成的システムに適用されたL. レヴィンの事前確率分布が、自然にジフ的周波数分布を生じることを主張すること。
• 「作業の最小化」の原則を、物体を記述する最短プログラムの長さ、すなわち $K(w)$ として再解釈することで、作業とアルゴリズム的複雑性を調和させること。

提案手法

• 操作（γ, σ, ρ, μ, ι）の形式的体系と構造的番号付けを用いて、計算可能関数の構成的世界を定義する。
• 最適符号化による $K(w)$ による、アルゴリズム的情報含量の測定としてのコルモゴロフ複雑性 $K(w)$ を使用する。$K(w)$ は $\exp(O(1))$ 要素の範囲で定義される。
• L. レヴィンの事前確率分布を適用し、$KP(w)^{-1}$ の割合で確率を割り当てる。ここで $KP(w)$ は指数化された前綴付き複雑性である。
• 頻度の降順でのオブジェクトのランク付け（ジフの法則）が、$K(w)$ の増加に対応することを確立する。$\exp(O(1))$ 要素の範囲で。
• $K(w)$ と $KP(w)$ の漸近的同等性、すなわち $K(w) \preceq KP(w) \preceq K(w) \cdot \log^{1+\varepsilon} K(w)$ を活用し、べき則的挙動を正当化する。
• エラー訂正符号や符号理論における相転移現象との類似性を示し、コルモゴロフ複雑性が分配関数におけるエネルギーとして機能することを示す。

実験結果

リサーチクエスチョン

• RQ1 ジフの法則は、ヒューリスティックなコストモデルではなく、アルゴリズム的複雑性から導けるか？
• RQ2 コルモゴロフ複雑性は、言語的要素の頻度ランク付けに果たす役割は何か？
• RQ3 L. レヴィンの事前確率分布は、語の周波数における観察されたべき則的挙動とどのように関係するか？
• RQ4 なぜジフの法則の指数が -1 に安定化するのか。これは複雑性に基づく事前分布によって説明可能か？
• RQ5 「観察された」システムと「生成された」システムの違いが、ジフ的分布の出現に及ぼす影響はどの程度か？

主な発見

• 指数 -1 のジフの法則は、$\exp(O(1))$ 要素の範囲で、増加するコルモゴロフ複雑性によるオブジェクトのランク付けの結果として生じる。
• L. レヴィンの事前分布は $KP(w)^{-1}$ の割合で確率を割り当て、$KP(w)$ は指数化された前綴付き複雑性である。この分布によりべき則的周波数分布が生じる。
• $K(w)$ と $KP(w)$ のわずかな差異—$\log^{1+\varepsilon} K(w)$ で有界—が、無限級数 $\sum K(m)^{-1}$ が発散する理由を説明するが、有限近似では依然としてジフ的挙動が得られる。
• このモデルは、ジフの元々の最小化原理における「作業」を、物体を記述する最短プログラムの長さ、すなわち $K(w)$ として再解釈する。
• この枠組みは言語に限らず、エラー訂正符号のような生成的システムにも適用可能であり、複雑性が熱力学的分配関数におけるエネルギーの役割を果たす。
• このアプローチにより、ジフの法則とアルゴリズム的情報理論が統合され、ヒューリスティックなコストモデルや確率的仮定よりも深い説明が可能になる。