[논문 리뷰] Understanding Zipf's law with playing dice: history-dependent stochastic processes with collapsing sample-space have power-law rank distributions

Bernat Corominas‐Murtra, Rudolf Hanel외 1명|arXiv (Cornell University)|2014. 07. 10.

Opinion Dynamics and Social Influence인용 수 3

한 줄 요약

이 논문은 역사에 의존하는 확률적 과정에서 표본공간이 붕괴하는(표본공간 축소, SSR) 과정이 결과 순위 분포에서 지프의 법칙을 자연스럽게 생성함을 제안한다. SSR 과정에 노이즈를 도입함으로써 저자들은 정확한 거듭제곱 법칙 스케일링이 나타나며, 그 지수 λ는 표본공간 축소 정도를 직접 반영함을 보여주며, 선호적 첨부나 자율 조직화에 의존하지 않고 복잡계에서의 스케일링을 기계적 메커니즘으로 설명한다.

ABSTRACT

History-dependent processes are ubiquitous in natural and social systems. Many such stochastic processes, especially those that are associated with complex systems, become more constrained as they unfold, meaning that their sample-space, or their set of possible outcomes, reduces as they age. We demonstrate that these sample-space reducing (SSR) processes necessarily lead to Zipf's law in the rank distributions of their outcomes. We show that by adding noise to SSR processes the corresponding rank distributions remain exact power-laws, $p(x)\sim x^{-\lambda}$, where the exponent directly corresponds to the mixing ratio of the SSR process and noise. This allows us to give a precise meaning to the scaling exponent in terms of the degree to how much a given process reduces its sample-space as it unfolds. Noisy SSR processes further allow us to explain a wide range of scaling exponents in frequency distributions ranging from $\alpha = 2$ to $\infty$. We discuss several applications showing how SSR processes can be used to understand Zipf's law in word frequencies, and how they are related to diffusion processes in directed networks, or ageing processes such as in fragmentation processes. SSR processes provide a new alternative to understand the origin of scaling in complex systems without the recourse to multiplicative, preferential, or self-organised critical processes.

연구 동기 및 목표

• 복합계에서 다루는 거듭제곱 법칙 순위 분포, 예를 들어 지프의 법칙의 기원을 다수의 곱셈적 또는 선호적 과정에 의존하지 않고 설명하기.
• 시간에 따라 표본공간이 줄어드는 역사에 의존하는 확률적 과정(표본공간 축소, SSR) 과정이 본질적으로 거듭제곱 법칙 순위 분포를 생성함을 보여주기.
• 노이즈를 SSR 과정에 추가했을 때도 정확한 거듭제곱 법칙 스케일링이 유지되고, 스케일링 지수 λ 가 어떻게 제어되는지 조사하기.
• 스케일링 지수 λ 와 SSR 과정의 진화 과정에서의 표본공간 축소 정도 사이의 정량적 관계를 규명하기.
• 실세계 현상인 단어 빈도, 네트워크 내 확산, 분열 과정 등에 SSR 프레임워크를 적용하기.

제안 방법

• 가능한 결과의 집합(표본공간)이 시간에 따라 감소하는 확률적 과정을 모델링하여 역사에 의존하는 SSR 과정을 정의하기.
• SSR 과정으로부터의 결과 순위 분포를 정확히 유도하여, 이가 거듭제곱 법칙 p(x) ∼ x−λ 를 따른다는 것을 보여주기.
• 임의의 간격으로 표본공간을 확률적으로 재설정하거나 확장하는 노이즈 성분을 도입하여 노이즈가 첨가된 SSR 과정을 만드는 것.
• 노이즈가 첨가된 SSR 과정에서의 결과 순위 분포를 분석적으로 유도하여, 여전히 지수 λ 가 노이즈-SSR 혼합 비율에 의해 결정되는 거듭제곱 법칙 형태로 유지됨을 증명하기.
• 노이즈-SSR 혼합 비율을 사용하여 스케일링 지수 λ 를 제어하여, 2에서 ∞에 이르는 연속적인 지수 범위를 가능하게 하기.
• 어떤 실제 데이터(예: 단어 빈도, 네트워크 확산 등)에 모델을 적용하여 이 프레임워크의 설명력 검증하기.

실험 결과

연구 질문

• RQ1 표본공간 축소 과정만으로도 순위 분포에서 지프의 법칙을 생성할 수 있는가?
• RQ2 노이즈를 SSR 과정에 추가하면 거듭제곱 법칙 스케일링에 어떤 영향을 미치는가?
• RQ3 SSR 과정에서의 표본공간 축소 정도와 스케일링 지수 λ 사이의 정량적 관계는 무엇인가?
• RQ4 SSR 프레임워크는 실제 빈도 분포에서 관찰된 다양한 스케일링 지수를 설명할 수 있는가?
• RQ5 SSR 과정은 단어 빈도 분포나 방향성 네트워크 내 확산과 같은 알려진 현상과 어떻게 관련이 있는가?

주요 결과

• SSR 과정만으로도 정확한 거듭제곱 법칙 순위 분포 p(x) ∼ x−λ 를 생성하며, 여기서 λ 는 표본공간 축소 속도에 의해 결정된다.
• SSR 과정에 노이즈를 추가해도 정확한 거듭제곱 법칙 형태가 유지되며, 지수 λ 는 노이즈와 SSR 동역학의 혼합 비율에 의해 직접 제어된다.
• 이 프레임워크는 λ = 2 에서 λ = ∞ 에 이르는 광범위한 스케일링 지수를 설명할 수 있으며, 다양한 실증 관측 결과를 포함한다.
• 모델은 언어 생산 과정에서 사용 가능한 단어 수가 순차적으로 감소하는 방식으로 모델링함으로써, 단어 빈도에서의 지프의 법칙에 기계적 메커니즘을 제공한다.
• SSR 과정이 방향성 네트워크에서의 확산 과정과 동치임이 입증되어, 순위 분포를 네트워크의 구조와 동역학과 연결한다.
• 이 프레임워크는 선호적 첨부나 자율 조직 임계 상태의 가정 없이도 복잡계에서의 스케일링을 설명할 수 있는 새로운 비곱셈적 대안을 제공한다.