[논문 리뷰] Rank distributions of words in additive many-step Markov chains and the Zipf law

K. E. Kechedzhy O.V. Usatenko, V. A. Yampol’skiı̆|ArXiv.org|2004. 06. 22.

Protein Structure and Dynamics참고 문헌 2인용 수 6

한 줄 요약

이 논문은 확률적 기호 시스템에서 단어(L-단어)의 랭크 분포를 연구하기 위해 단계적 기억 함수를 갖는 해석적으로 풀 수 있는 이진 다단계 마르코프 체인 모델을 제안한다. 강한 지속적 상관관계가 존재할 경우 랭크 분포의 파wr-법 래핑에 지수 근처의 값이 나타나며, 이는 상관관계 길이와 같거나 짧은 단어 길이에서 지프 법칙이 성립함을 확인한다. 또한 감소화 과정에서 자가유사성도 관찰된다.

ABSTRACT

The binary many-step Markov chain with the step-like memory function is considered as a model for the analysis of rank distributions of words in stochastic symbolic dynamical systems. We prove that the envelope curve for this distribution obeys the power law with the exponent of the order of unity in the case of rather strong persistent correlations. The Zipf law is shown to be valid for the rank distribution of words with lengths about and shorter than the correlation length in the Markov sequence. A self-similarity in the rank distribution with respect to the decimation procedure is observed.

연구 동기 및 목표

• 스토케스틱 기호 시스템 내 단어의 랭크 분포에서 지프 법칙의 기원을 조사하기 위해.
• 장거리 의존성이 없이 단기 상관관계만으로도 파워-법 랭크 분포를 생성할 수 있는지 판단하기 위해.
• 상관관계 길이에 비해 단어 길이 L의 역할이 지프 법칙의 타당성과 형태에 미치는 영향을 분석하기 위해.
• 마르코프 체인 모델에서 감소화 절차에 따른 랭크 분포의 자가유사성 특성을 탐색하기 위해.
• 상관관계 구조와 단어 빈도 순위에서의 보편적 파워-법 행동의 발생 간 상호작용을 명확히 하기 위해.

제안 방법

• 이전 N개의 기호 중 1의 개수에 따라 다음 기호의 조건부 확률이 결정되는 단계적 기억 함수를 갖는 이진 N단계 마르코프 체인을 모델링한다.
• 단어를 길이 L의 연속된 서열로 정의하고, 빈도를 계산하여 감소하는 빈도 순서로 정렬된 랭크 분포 W(R)를 구성한다.
• L ≤ N인 경우에 대해 해석적 방법을 사용하여 랭크 분포의 래핑 곡선을 유도하며, 강한 상관관계 하에서 지수 ≈1의 파워-법 행동을 보임을 보여준다.
• 해석적 처리가 실패하는 L > N의 경우 수치 시뮬레이션을 적용하여 랭크 분포에서의 단계적 특징의 흐림 현상을 연구한다.
• 기호를 무작위로 제거하여 감소화 절차를 구현하고, 다양한 척도에서 랭크 분포의 자가유사성을 테스트한다.
• 지수 ζ가 최대가 되는 단어 길이 L과 상관관계 길이 2lc + N 간의 관계를 규명하여, 파워-법에 대한 최적의 적합성을 도출한다.

실험 결과

연구 질문

• RQ1 다단계 마르코프 체인에서 단기 지속적 상관관계가 지프 법칙을 따르는 랭크 분포를 생성할 수 있는가?
• RQ2 지프 법칙의 타당성 결정에 있어 단어 길이 L과 마르코프 체인의 상관관계 길이 간의 관계는 무엇인가?
• RQ3 단어 길이 L이 메모리 길이 N을 초과할 경우 랭크 분포는 어떻게 변화하며, 단계적 특징의 흐림 현상은 무엇에 기인하는가?
• RQ4 감소화 과정에서 랭크 분포가 자가유사성을 보이며, 이는 상관관계 구조에 대해 무엇을 시사하는가?
• RQ5 어느 단어 길이 L에서 지프 법칙이 가장 잘 근사되며, 이는 시스템의 상관관계 길이와 어떻게 관련되는가?

주요 결과

• L ≤ N 이며 강한 상관관계(μ > 0)일 경우, 랭크 분포의 래핑은 지수 약 1의 파워-법을 따르며, 이는 지프 법칙을 확인한다.
• L < N일 경우 랭크 분포는 단계적 특징을 보이며, L이 N을 초과함에 따라 이는 부드러워져 연속적인 파워-법 유사 형태로 변한다.
• 지프 플롯의 기울기 ζ는 L ≈ Lcr > N에서 최대가 되며, 이 Lcr은 효과적 상관관계 길이 2lc + N과 밀접하게 관련되어 있다.
• 감소화 과정에서 랭크 분포에 자가유사성이 관찰되며, L이 너무 작지 않은 경우 감소화된 시퀀스의 랭크 분포는 원본과 밀접하게 일치한다.
• 지프 법칙은 장거리 상관관계가 아니라 지속적인 단기 상관관계에 의해 발생하며, 충분한 노이즈(변동성)가 상관관계 함수의 구체적 형태를 가림으로써 발생한다.
• L ≫ N + 2lc일 경우 상관관계가 단어 길이 범위에서 사라지며, 랭크 분포는 일정한 값으로 수렴하여 파워-법 행동의 상실을 나타낸다.