[논문 리뷰] Universality of Zipf's Law

Bernat Corominas Murtra, Ricard V. Solé|arXiv (Cornell University)|2010. 01. 15.

Opinion Dynamics and Social Influence인용 수 4

한 줄 요약

이 논문은 알고리즘적 정보이론을 통해 시스템을 모델링하여 지프의 법칙의 보편성을 기계적 메커니즘에 의존하지 않는 방식으로 설명한다. 이론적으로는 확률적 시스템의 기호적 순서열의 엔트로피가 질서와 무질서 사이의 균형에 도달할 때 지프의 법칙이 유일한 해로 나타남을 보여준다. 핵심 결과는 시스템 복잡성과 정보량에 대해 낮은 수준의 물리적으로 타당한 가정이 있을 경우, 지수 ≈1인 힘의 법칙 분포가 피할 수 없이 나타남을 보여준다.

ABSTRACT

Zipf's law is the most common statistical distribution displaying scaling behavior. Cities, populations or firms are just examples of this seemingly universal law. Although many different models have been proposed, no general theoretical explanation has been shown to exist for its universality. Here we show that Zipf's law is, in fact, an inevitable outcome of a very general class of stochastic systems. Borrowing concepts from Algorithmic Information Theory, our derivation is based on the properties of the symbolic sequence obtained through successive observations over a system with an unbounded number of possible states. Specifically, we assume that the complexity of the description of the system provided by the sequence of observations is the one expected for a system evolving to a stable state between order and disorder. This result is obtained from a small set of mild, physically relevant assumptions. The general nature of our derivation and its model-free basis would explain the ubiquity of such a law in real systems.

연구 동기 및 목표

• 도시 규모, 단어 빈도, 기업 분포 등 다양한 시스템에서 지프의 법칙이 왜 보편적으로 나타나는지 설명하기.
• 확률적 시스템에서 지프의 법칙이 필수적으로 나타나는 일반적이고 기계적 메커니즘에 의존하지 않는 조건을 규명하기.
• 지프의 법칙의 유도를 알고리즘적 정보이론과 엔트로피 행동의 기본 원리로부터 유도하기.
• 시스템 복잡성이 질서와 무질서를 균형 잡을 때 지수 γ ≈ 1이 유일한 해가 되는 이유를 보여주기.

제안 방법

• 시스템의 관측 순서를 기호 문자열로 모델링하여 상태 변화를 표현하기.
• 코모고로프 복잡도를 사용해 기호 순서열의 알고리즘적 정보량을 정량화하기.
• 크기 n이 증가함에 따라 스케일링 행동을 분석하기 위해 정규화된 엔트로피 h(n, γ) = H(n, γ)/log n 를 사용하기.
• 다양한 힘의 법칙 지수(γ < 1, γ = 1, γ > 1)에 대해 엔트로피의 점근적 해를 유도하기.
• γ = 1일 때에만 정규화된 엔트로피 h(n, γ)가 1로 수렴함을 입증하여, 지배적인 요소 없이 최대 복잡성이 유지됨을 보여주기.
• 리만 제타 함수와 급수의 수렴 성질을 사용해 γ > 1일 경우 엔트로피의 유계성과 γ < 1일 경우 발산성을 증명하기.

실험 결과

연구 질문

• RQ1 왜 지수 ≈1인 지프의 법칙이 자연 및 사회 시스템 간에 관련이 없는 다양한 분야에서 보편적으로 나타나는가?
• RQ2 정보이론적 원리에서 지프의 법칙에 대한 보편적이고 기계적 메커니즘에 의존하지 않는 설명을 도출할 수 있는가?
• RQ3 알고리즘적 복잡도는 확률적 시스템의 스케일링 행동을 결정하는 데 어떤 역할을 하는가?
• RQ4 시스템 상태 순서열의 정규화된 엔트로피가 1로 수렴하는 조건은 무엇이며, 이는 지프의 법칙 스케일링을 의미하는가?
• RQ5 왜 지수 γ = 1만이 다양한 시스템에서 유일하게 안정적이고 강건한가?

주요 결과

• 정규화된 엔트로피 h(n, γ)는 오직 힘의 법칙 지수 γ가 정확히 γ = 1일 때에만 1로 수렴하며, 이는 질서와 무질서 사이의 유일한 균형을 의미한다.
• 힘의 법칙 지수 γ > 1일 경우, 정규화된 엔트로피 h(n, γ)는 0으로 수렴하여, 제한된 복잡성과 대규모 구조의 지배를 의미한다.
• 힘의 법칙 지수 γ < 1일 경우, 정규화된 엔트로피 h(n, γ)는 발산하여 무한한 복잡성과 안정된 스케일링의 부재를 의미한다.
• γ = 1일 경우 엔트로피 H(n, γ)는 시스템 크기 n에 대해 로그적으로 증가하며, 이는 지프의 법칙의 유도와 일치한다.
• 이 결과는 유한하지 않은 상태 공간, 확률적 진동, 질서와 무질서의 균형을 이루는 복잡성이라는 낮은 수준의 물리적으로 타당한 가정 하에 성립한다.
• 유도 과정은 모델에 의존하지 않으며 오직 알고리즘적 정보이론에 기반하여, 지프의 법칙이 다양한 시스템에서 강건하고 보편적인 이유를 설명한다.