[논문 리뷰] Zipf and non-Zipf Laws for Homogeneous Markov Chain

V. V. Bochkarev, É. Yu. Lerner|arXiv (Cornell University)|2012. 07. 08.

Complex Network Analysis Techniques참고 문헌 10인용 수 7

한 줄 요약

이 논문은 흡수 상태를 가진 동일한 마르코프 체인에서 순위-빈도 분포를 분석하여, 단어 확률이 전이 행렬의 구조에 따라 멱법칙 또는 지수 감소를 따른다는 것을 보여준다. 멱법칙의 지수는 전이 행렬과 초기 분포로부터 유도되며, 지수 감소가 성립하는 필요 및 충분 조건이 수립된다. 이는 고전적인 '기계가 글자를 치는 모델'을 마르코프 의존성 있는 기호 시퀀스로 일반화한다.

ABSTRACT

Let us consider a homogeneous Markov chain with discrete time and with a finite set of states $E_0,\ldots,E_n$ such that the state $E_0$ is absorbing, states $E_1,\ldots,E_n$ are nonrecurrent. The goal of this work is to study frequencies of trajectories in this chain, i.e., "words" composed of symbols $E_1,\ldots,E_n$ ending with the "space" $E_0$. Let us order words according to their probabilities; denote by $p(t)$ the probability of the $t$th word in this list. In this paper we prove that in a typical case the asymptotics of the function $p(t)$ has a power character, and define its exponent from the matrix of transition probabilities. If this matrix is block-diagonal, then with some specific values of transition probabilities the power asymptotics gets (logarithmic) addends. But if this matrix is rather sparse, then probabilities quickly decrease; namely, the rate of asymptotics is greater than that of the power one, but not greater than that of the exponential one. We also establish necessary and sufficient conditions for the exponential order of decrease and obtain a formula for determining the exponent from the transition probability matrix and the initial distribution vector.

연구 동기 및 목표

• 유한 상태, 시간에 동일한 마르코프 체인에서 궤적(단어)의 순위-빈도 분포를 분석하는 것.
• t번째로 빈도가 높은 단어의 확률 p(t)가 멱법칙 또는 지수 감소를 따르는 조건을 규명하는 것.
• 전이 확률 행렬과 초기 분포에 기반한 멱법칙 점근적 행동의 명시적 공식을 도출하는 것.
• 순위 목록에서 단어 확률의 지수 감소가 성립하는 데 필요한 필수 및 충분 조건을 설정하는 것.
• 기호 간 마르코프 의존성을 통합함으로써 고전적인 '기계가 글자를 치는 모델'을 일반화하는 것.

제안 방법

• 단어 생성 과정을 비재귀 상태 E₁,…,En와 흡수 상태 E₀(공백을 나타냄)를 가진 동일한 마르코프 체인으로 모델링한다.
• p(t)를 내림차순 확률 순서로 정렬된 t번째로 확률이 높은 단어(흡수 상태 E₀로 끝나는 궤적)의 확률로 정의한다.
• 비흡수 상태 간 전이 확률의 부분행렬 P를 사용하여 p(t)의 점근적 행동을 분석한다.
• 마르코프 체인의 그래프 구조를 그의 응집 그래프 G′을 통해 분석하며, 강하게 연결된 성분과 사이클에 초점을 맞춘다.
• 단어 수와 사이클 삽입에 대한 조합적 경계를 적용하여, 사이클 확률에서 유도된 지수 감소율을 사용해 p(t)의 상한 및 하한을 유도한다.
• 희박한 행렬의 경우 p(t) = O(α^(√ⁿᵗ))임을 증명하고, 여러 개의 사이클이 존재할 경우 p(t) = Ω(δ^√(2t))임을 도출하여 지수 감소를 이끌어낸다.

실험 결과

연구 질문

• RQ1 전이 행렬에 어떤 조건이 성립할 경우 마르코프 체인에서 궤적의 순위-빈도 분포가 멱법칙을 따를 수 있는가?
• RQ2 멱법칙 감소의 지수는 전이 확률 행렬과 초기 분포에 어떻게 의존하는가?
• RQ3 p(t)의 감소가 멱법칙이 아닌 지수 감소로 전환되는 조건은 언제인가?
• RQ4 마르코프 체인의 전이 그래프의 구조적 특성(예: 사이클 구조, 희박성)이 p(t)의 점근적 행동에 어떤 영향을 미치는가?
• RQ5 응집 그래프와 사이클 확률을 사용하여 p(t)의 점근적 행동을 정확히 특성화할 수 있는가?

주요 결과

• 일반적인 경우, t번째로 빈도가 높은 단어의 확률 p(t)는 전이 행렬의 스펙트럼 성질에 의해 결정되는 멱법칙으로 감소한다.
• 전이 행렬이 특정 전이 확률을 가진 블록 대각형일 경우, 멱법칙 점근적 행동은 로그 보정을 포함하게 된다.
• 전이 행렬이 희박하고 충분한 사이클 구조가 없을 경우, p(t)는 어떤 멱법칙보다도 빠르게 감소하지만 지수 감소보다는 느리게 감소한다.
• p(t)의 감소가 지수 감소임은 오직 해당 그래프에 순서대로 도달 가능한 최소 두 개의 사이클이 존재할 경우에만 성립하며, 감소율은 최소 사이클 확률에 의해 결정된다.
• p(t)의 점근적 행동은 관계 t − ln(1/p(t))/ν′ 이 유계임으로써 특성화되며, 여기서 ν′은 사이클 확률과 그 빈도 수에 의해 유도된다.
• 확률이 p′을 초과하는 단어의 수는 점근적으로 Q(p′) ≈ (1/ν′) × (−ln p′) × ∑_{c∈C} k(c)/ln(Pr̃(c))로 표현되며, 이는 p′에 대한 정확한 로그 의존성을 보여준다.