[논문 리뷰] Zipf's law and L. Levin's probability distributions

Yuri I. Manin|arXiv (Cornell University)|2013. 01. 03.

Computability, Logic, AI Algorithms참고 문헌 14인용 수 4

한 줄 요약

이 논문은 언어에서 관찰되는 비율 분포인 지프의 법칙이, 레비의 사전 확률 분포와 콜모고로프 복잡도를 조합할 때 자연스럽게 유도된다는 것을 제안한다. 단어 순위가 지수적 복잡도와 상관이 있고, 레비의 분포가 접두사 콜모고로프 복잡도의 역수 비례로 확률을 할당한다는 점을 보여줌으로써, 저자들은 기본적인 알고리즘 정보이론 원리의 결과로 지프의 법칙의 지수 -1을 도출한다.

ABSTRACT

Zipf's law in its basic incarnation is an empirical probability distribution governing the frequency of usage of words in a language. As Terence Tao recently remarked, it still lacks a convincing and satisfactory mathematical explanation. In this paper I suggest that at least in certain situations, Zipf's law can be explained as a special case of the a priori distribution introduced and studied by L. Levin. The Zipf ranking corresponding to diminishing probability appears then as the ordering determined by the growing Kolmogorov complexity. One argument justifying this assertion is the appeal to a recent interpretation by Yu. Manin and M. Marcolli of asymptotic bounds for error--correcting codes in terms of phase transition. In the respective partition function, Kolmogorov complexity of a code plays the role of its energy. This version contains minor corrections and additions.

연구 동기 및 목표

• 지프의 법칙은 경험적으로 널리 관찰되지만, 여전히 완전히 만족스러운 이론적 기반을 갖추지 못한 바, 이를 수학적으로 설명하는 것.
• 단어 빈도를 콜모고로프 복잡도와 연결함으로써 지프의 법칙을 알고리즘 정보이론과 연결하는 것.
• 지프의 법칙에서의 역수 빈도 순위가 다항 상수까지의 증가하는 콜모고로프 복잡도에 해당함을 보여주는 것.
• 정형적, 생성적 시스템에 레비의 사전 확률 분포를 적용할 때 자연스럽게 지피안 빈도 분포가 유도됨을 주장하는 것.
• 최소화된 노력 원리와 알고리즘 복잡도를 재해석함으로써, 노력의 개념을 어떤 대상의 최단 프로그램 길이, 즉 $K(w)$로 재정의하는 것.

제안 방법

• 구성적 세계를 계산 가능한 함수의 집합으로 정의하며, 운영 체계 $\gamma, \sigma, \rho, \mu, \iota$ 와 구조적 번호 부여를 사용한다.
• 알고리즘 정보 내용의 척도로 콜모고로프 복잡도 $K(w)$ 를 사용하며, $K(w)$ 는 $\exp(O(1))$ 요인까지 최적 인코딩을 통해 정의된다.
• L. 레비의 사전 확률 분포를 적용하여, 확률이 $\sim KP(w)^{-1}$ 으로 할당되며, 여기서 $KP(w)$ 는 지수화된 프리픽스 복잡도이다.
• 객체의 빈도 내림차순 순위(지프의 법칙)가 $K(w)$ 의 증가와 $\exp(O(1))$ 요인까지 대응됨을 확립한다.
• asymptotic equivalence $K(w) \preceq KP(w) \preceq K(w) \cdot \log^{1+\varepsilon} K(w)$ 를 활용하여 거듭제곱 법칙 행동을 정당화한다.
• 에러 수정 코드와 부호 이론에서의 상전이 현상과 유사성을 도출하며, 콜모고로프 복잡도가 분할 함수에서 에너지 역할을 한다.

실험 결과

연구 질문

• RQ1 지프의 법칙은 히우리스틱 비용 모델이 아닌 알고리즘 복잡도에서 유도될 수 있는가?
• RQ2 콜모고로프 복잡도는 언어적 요소의 빈도 순위를 결정하는 데 어떤 역할을 하는가?
• RQ3 L. 레비의 사전 확률 분포는 관측된 단어 빈도의 거듭제곱 법칙 행동과 어떻게 관련이 있는가?
• RQ4 왜 지프의 법칙의 지수는 -1로 안정화되며, 이는 복잡도 기반 사전 확률에 의해 설명될 수 있는가?
• RQ5 관측된 시스템과 생성된 시스템 간의 구분이 지피안 분포의 발생에 얼마나 영향을 미치는가?

주요 결과

• 지수 -1을 가진 지프의 법칙은 $\exp(O(1))$ 요인까지의 콜모고로프 복잡도 증가에 따라 객체를 순위 매김함으로써 유도된다.
• L. 레비의 사전 확률 분포는 $KP(w)$ 가 지수화된 프리픽스 복잡도일 때 확률을 $\sim KP(w)^{-1}$ 으로 할당하며, 이는 거듭제곱 법칙 빈도 분포를 이끈다.
• 복잡도 $K(w)$ 와 $KP(w)$ 간의 미세한 불일치—$\log^{1+\varepsilon} K(w)$ 로 유계—는 무한 급수 $\sum K(m)^{-1}$ 가 발산하지만, 유한 근사치는 여전히 지피안 행동을 유도함을 설명한다.
• 이 모델은 지프의 원래 최소화 원리에서의 '노력' 개념을, 어떤 대상의 최단 프로그램 길이, 즉 $K(w)$ 로 재해석한다.
• 이 프레임워크는 언어뿐 아니라 오류 수정 코드와 같은 생성 시스템에도 적용되며, 여기서 복잡도는 열역학적 분할 함수에서 에너지의 역할을 한다.
• 이 접근법은 히우리스틱 비용 모델이나 확률적 가정보다 더 깊이 있는 설명을 제공하며, 지프의 법칙과 알고리즘 정보이론을 통합한다.