[論文レビュー] Rank distributions of words in additive many-step Markov chains and the Zipf law

K. E. Kechedzhy O.V. Usatenko, V. A. Yampol’skiı̆|ArXiv.org|Jun 22, 2004

Protein Structure and Dynamics参考文献 2被引用数 6

ひとこと要約

本稿では、ステップ関数型の記憶関数を有する解析的に解ける2値多段階マルコフ連鎖モデルを提案し、確率的記号的系における語のランク分布（L語）を研究する。強い持続的相関が、指数が1に近いべき乗則の包絡線を生じることを示し、語長Lが相関長と同等またはそれ未満の場合にZipfの法則が成立することを確認した。また、粗化処理における自己同形性も観察された。

ABSTRACT

The binary many-step Markov chain with the step-like memory function is considered as a model for the analysis of rank distributions of words in stochastic symbolic dynamical systems. We prove that the envelope curve for this distribution obeys the power law with the exponent of the order of unity in the case of rather strong persistent correlations. The Zipf law is shown to be valid for the rank distribution of words with lengths about and shorter than the correlation length in the Markov sequence. A self-similarity in the rank distribution with respect to the decimation procedure is observed.

研究の動機と目的

• 確率的記号的系内の語のランク分布におけるZipfの法則の起源を調査すること。
• 長距離依存性が存在しない条件下で、短距離相関のみがべき乗則的ランク分布を生じるかどうかを特定すること。
• 語長Lが相関長に対して果たす役割が、Zipfの法則の有効性および形状に与える影響を分析すること。
• マルコフ連鎖モデルにおける粗化手順におけるランク分布の自己同形性の性質を探索すること。
• 相関構造と語頻度ランクにおける普遍的べき乗則的挙動の出現との間の相互作用を明確にすること。

提案手法

• N段階マルコフ連鎖を2値としてモデル化し、次の記号の条件付き確率が直前のN記号内の1の数に依存するステップ関数型記憶関数を導入する。
• 語を連続する長さLのシーケンスとして定義し、その出現頻度を計算して、頻度の降順に整列させたランク分布W(R)を構築する。
• L ≤ Nの場合に解析的手法を用いてランク分布の包絡線を導出し、強い相関下で指数が約1のべき乗則的挙動を示すことを示す。
• 解析的取り扱いが困難なL > Nの場合に数値シミュレーションを適用し、ランク分布におけるステップ型特徴のぼかしを研究する。
• ランダムに記号を削除する粗化手順を実装し、異なるスケールにおけるランク分布の自己同形性を検証する。
• 相関長2lc + Nと、Zipfの傾きζが最大値を示す語長Lとの関係を特定する。

実験結果

リサーチクエスチョン

• RQ1 多段階マルコフ連鎖における短距離持続的相関が、Zipfの法則に従うランク分布を生じるか。
• RQ2 語長Lとマルコフ連鎖の相関長との関係が、Zipfの法則の有効性に与える影響は何か。
• RQ3 語長Lが記憶長Nを超えるとランク分布はどのように変化し、ステップ型特徴のぼかしの原因は何か。
• RQ4 粗化処理においてランク分布が自己同形性を示すか。これは、下位の相関構造に何を示唆するか。
• RQ5 どの語長LでZipfの法則が最もよく近似されるか。これは系の相関長とどのように関係するか。

主な発見

• L ≤ N かつ強い相関（μ > 0）の下で、ランク分布の包絡線は指数が約1のべき乗則に従い、Zipfの法則が確認された。
• L < N の場合、ランク分布はステップ型の特徴を示すが、LがNを超えて増加するにつれて滑らかにされ、連続的なべき乗則的形に近づく。
• Zipfプロットの傾きζは、L ≈ Lcr > N の点で最大値を示し、Lcrは有効相関長2lc + Nと密接に関連している。
• 粗化処理においてランク分布に自己同形性が観察され、Lが小さすぎない限り、粗化された系列のランク分布は元の分布とよく一致した。
• Zipfの法則は長距離相関から生じるのではなく、十分なノイズ（揺らぎ）が相関関数の特定の形を隠す場合に、持続的短距離相関から生じる。
• L ≫ N + 2lc の場合、相関が語長の範囲で消失し、ランク分布は定数に近づくことから、べき乗則的挙動が失われる。