[論文レビュー] Zipf and non-Zipf Laws for Homogeneous Markov Chain

V. V. Bochkarev, É. Yu. Lerner|arXiv (Cornell University)|Jul 8, 2012

Complex Network Analysis Techniques参考文献 10被引用数 7

ひとこと要約

本稿は、吸収状態を有する均一なマルコフ連鎖におけるランク-周波数分布を分析し、語の確率が遷移行列の構造に応じてべき乗則または指数的減衰に従うことを示している。べき乗則の指数は遷移行列と初期分布から導出され、指数的減衰の必要十分条件が確立されており、古典的な「猿がタイプライターを打つ」モデルをマルコフ連鎖依存の記号列へと拡張している。

ABSTRACT

Let us consider a homogeneous Markov chain with discrete time and with a finite set of states $E_0,\ldots,E_n$ such that the state $E_0$ is absorbing, states $E_1,\ldots,E_n$ are nonrecurrent. The goal of this work is to study frequencies of trajectories in this chain, i.e., "words" composed of symbols $E_1,\ldots,E_n$ ending with the "space" $E_0$. Let us order words according to their probabilities; denote by $p(t)$ the probability of the $t$th word in this list. In this paper we prove that in a typical case the asymptotics of the function $p(t)$ has a power character, and define its exponent from the matrix of transition probabilities. If this matrix is block-diagonal, then with some specific values of transition probabilities the power asymptotics gets (logarithmic) addends. But if this matrix is rather sparse, then probabilities quickly decrease; namely, the rate of asymptotics is greater than that of the power one, but not greater than that of the exponential one. We also establish necessary and sufficient conditions for the exponential order of decrease and obtain a formula for determining the exponent from the transition probability matrix and the initial distribution vector.

研究の動機と目的

• 有限状態、時不変のマルコフ連鎖に吸収状態を有するときの軌道（語）のランク-周波数分布を分析すること。
• 語の確率p(t)がべき乗則または指数的減衰に従う条件を特定すること。
• 遷移確率行列と初期分布に基づいて、べき乗的漸近挙動の指数を明示的な式で導出すること。
• 語の確率が順位付きリストで指数的減衰を示すための必要十分条件を確立すること。
• 記号間のマルコフ連鎖依存性を組み込んだことで、古典的な「猿がタイプライターを打つ」モデルを一般化すること。

提案手法

• 語の生成プロセスを、非再帰的状態E₁,…,Enと吸収状態E₀（スペースを表す）からなる均一なマルコフ連鎖としてモデル化する。
• p(t)を、確率の降順に並べた際のt番目に確率の高い語（E₀で終わる軌道）の確率とする。
• 非吸収状態間の遷移確率の部分行列Pを用いて、p(t)の漸近的挙動を分析する。
• マルコフ連鎖のグラフ構造を、強連結成分とサイクルに注目した縮約グラフG′を介して分析する。
• 語の個数とサイクル挿入に関する組合せ的評価を用い、サイクル確率からの指数的減衰率を用いてp(t)の上界および下界を導出する。
• スパースな行列の場合、p(t) = O(α^(√ⁿᵗ))が成り立ち、複数のサイクルが存在する場合、p(t) = Ω(δ^√(2t))が成り立ち、結果として指数的減衰が得られる。

実験結果

リサーチクエスチョン

• RQ1 遷移行列にどのような条件が満たされると、マルコフ連鎖における軌道のランク-周波数分布がべき乗則に従うか？
• RQ2 べき乗則の減衰指数は、遷移確率行列と初期分布にどのように依存するか？
• RQ3 p(t)の減衰がべき乗則ではなく指数的減衰に移行するのはどのような場合か？
• RQ4 マルコフ連鎖の遷移グラフの構造的性質（例：サイクル構造、スパarsity）は、p(t)の漸近的挙動にどのように影響を与えるか？
• RQ5 縮約グラフとサイクル確率を用いて、p(t)の漸近的挙動を正確に特徴づけることができるか？

主な発見

• 一般的な状況では、t番目に頻度の高い語の確率p(t)は、遷移行列のスペクトル的性質によって決定されるべき乗則に従って減少する。
• 遷移行列が特定の遷移確率を持つブロック対角行列である場合、べき乗的漸近挙動に対数的補正が加わる。
• 遷移行列がスパースで十分なサイクル構造を欠いている場合、p(t)は任意のべき乗則より速く、しかし指数的減衰より遅く減少する。
• p(t)の減衰が指数的であるのは、かつそれが、少なくとも2つのサイクルが連続して走れるグラフを含む場合に限る。減衰率は最小のサイクル確率によって決定される。
• p(t)の漸近的挙動は、t − ln(1/p(t))/ν′ が有界であるという関係によって特徴づけられる。ここでν′はサイクル確率とその重複度から導出される。
• 確率がp′を超える語の数は、漸近的にQ(p′) ≈ (1/ν′) × (−ln p′) × ∑_{c∈C} k(c)/ln(Pr̃(c))と表され、p′に対して明確な対数的依存性を示す。