[論文レビュー] Scaling Laws in Human Language

Linyuan Lü, Zi‐Ke Zhang+1 more|arXiv (Cornell University)|Feb 14, 2012

Authorship Attribution and Profiling参考文献 1被引用数 34

ひとこと要約

本稿では、中国語、日本語、韓国語の漢字が標準的なZipfの法則から逸脱する理由を説明するため、有限語彙モデルを提案している。その結果、語彙頻度分布が指数関数的減衰を示すZipfプロットを示すことが判明した。これは、語彙頻度分布の指数が1に近いべき乗則に従うためである。モデルは、語彙数の増加が線形、対数的、そして飽和する3段階の成長を説明し、表記言語におけるスケーリング法則のより洗練された理解を提供する。

ABSTRACT

Zipf's law on word frequency is observed in English, French, Spanish, Italian, and so on, yet it does not hold for Chinese, Japanese or Korean characters. A model for writing process is proposed to explain the above difference, which takes into account the effects of finite vocabulary size. Experiments, simulations and analytical solution agree well with each other. The results show that the frequency distribution follows a power law with exponent being equal to 1, at which the corresponding Zipf's exponent diverges. Actually, the distribution obeys exponential form in the Zipf's plot. Deviating from the Heaps' law, the number of distinct words grows with the text length in three stages: It grows linearly in the beginning, then turns to a logarithmical form, and eventually saturates. This work refines previous understanding about Zipf's law and Heaps' law in language systems.

研究の動機と目的

• 中国語、日本語、韓国語における文字頻度分布が標準的なZipfの法則から逸脱する理由を説明すること。
• 表記言語における非標準的Heapsの法則行動（固有文字数の3段階的増加）の原因を解明すること。
• 有限語彙サイズと豊かなる者に富むダイナミクスの相互作用をモデル化すること。
• 実証的観察されたべき乗則頻度分布とZipfプロットにおける指数的減衰の矛盾を解消すること。
• 特にインド・ヨーロッパ語族に属さない表記言語のための、人間言語におけるスケーリング法則の理論的理解を洗練すること。

提案手法

• 新しい文字が確率qで追加され、既存の文字が確率1−qで複製される有限語彙サイズを伴う、豊かなる者に富むプロセスとしての文章生成の確率的モデルを提案する。
• 文字頻度分布の解析的解を導出：$ p(k) \sim k^{-\beta} $、ここで $ \beta = 1 + \varepsilon\left(\frac{V}{N_t} - 1\right) $ であり、$ N_t \to V $ のとき $ \beta \to 1 $ となることを示す。
• 連続的近似を用いて累積分布を導出：$ P(k>k_0) = 1 - B \ln\left(\frac{k_0 + \varepsilon}{k_{\min} + \varepsilon}\right) $、ここで $ B \approx \left(\ln\frac{k_{\max}+\varepsilon}{k_{\min}+\varepsilon}\right)^{-1} $ である。
• 累積分布をランク-頻度関係に変換：$ Z(r) = (k_{\min}+\varepsilon)\exp\left[\frac{1}{B}\left(1 - \frac{r-1}{N_t}\right)\right] - \varepsilon $、これによりZipfプロットにおける指数的減衰が得られる。
• 中国語、日本語、韓国語の本を対象にシミュレーションと実証的分析を実施し、モデルの予測の妥当性を検証する。
• モデルの結果と実データを比較し、べき乗則頻度分布、Zipfプロットにおける指数的減衰、多段階の固有文字数増加の観測結果と一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 中国語、日本語、韓国語の文字頻度分布が、べき乗則に類似しているにもかかわらず、なぜ標準的なZipfの法則に従わないのか？
• RQ2 有限語彙サイズが、成長するテキストにおける文字頻度と固有文字数のスケーリング行動をどのように変化させるのか？
• RQ3 表記言語で観察される固有文字数の3段階的増加（線形、対数的、飽和）の原因は何か？
• RQ4 有限語彙サイズを伴う豊かなる者に富むプロセスが、観測されたZipfプロットにおける指数的減衰と非標準的Heapsの法則行動を再現できるか？
• RQ5 モデルは、べき乗則頻度分布と標準的なZipfプロットにおける指数的減衰の間の明らかな矛盾をどのように解消できるか？

主な発見

• 中国語、日本語、韓国語のテキストにおける文字頻度分布は、指数 $ \beta \approx 1 $ のべき乗則に従い、語彙サイズに達するにつれて1に近づく。
• べき乗則頻度分布であるにもかかわらず、頻度-ランクプロット（Zipfプロット）は有限語彙効果のため指数的減衰を示す。
• 固有文字数の増加は3段階に分けられる：初期は線形的、次に対数的、最後に語彙の上限に達して飽和する。
• モデルの解析的解は、複数の中国語、日本語、韓国語の本におけるシミュレーション結果と実データとをよく一致させる。
• 標準的なZipfの法則やHeapsの法則からの逸脱は、アーチファクトではなく、豊かなる者に富むプロセスにおける有限語彙サイズの結果である。
• 指数的減衰を示すZipfプロットが、べき乗則分布を排除するものではないことが示され、特に $ \beta \approx 1 $ の場合に顕著である。