[논문 리뷰] Zipf's law in 50 languages: its structural pattern, linguistic interpretation, and cognitive motivation

Shuiyuan Yu, Chunshan Xu외 1명|arXiv (Cornell University)|2018. 07. 05.

Language and cultural evolution참고 문헌 33인용 수 109

한 줄 요약

이 연구는 Zipf의 법칙을 50개 언어에 걸쳐 분석하여 보편적인 3-세그먼트 패턴과 하부 세그먼트의 하향 편차를 드러내고, 시뮬레이션을 통해 이 패턴을 이중처리 인지 메커니즘과 연결한다.

ABSTRACT

Zipf's law has been found in many human-related fields, including language, where the frequency of a word is persistently found as a power law function of its frequency rank, known as Zipf's law. However, there is much dispute whether it is a universal law or a statistical artifact, and little is known about what mechanisms may have shaped it. To answer these questions, this study conducted a large scale cross language investigation into Zipf's law. The statistical results show that Zipf's laws in 50 languages all share a 3-segment structural pattern, with each segment demonstrating distinctive linguistic properties and the lower segment invariably bending downwards to deviate from theoretical expectation. This finding indicates that this deviation is a fundamental and universal feature of word frequency distributions in natural languages, not the statistical error of low frequency words. A computer simulation based on the dual-process theory yields Zipf's law with the same structural pattern, suggesting that Zipf's law of natural languages are motivated by common cognitive mechanisms. These results show that Zipf's law in languages is motivated by cognitive mechanisms like dual-processing that govern human verbal behaviors.

연구 동기 및 목표

• Zipf의 법칙이 자연언어 전반에 걸쳐 보편적인지 여부를 조사하고 그 구조적 패턴을 특징화한다.
• Zipf 분포의 각 구간과 관련된 언어적 속성을 식별한다.
• 하위 주파수 구간의 편차가 체계적이고 모든 언어에 걸쳐 보편적인지 여부를 검토한다.
• 언어 사용에서 Zipf의 법칙을 생성할 수 있는 인지적 메커니즘을 제안한다.

제안 방법

• Zipf의 법칙을 검증하기 위해 50개 언어의 단어 빈도 분포를 실증적으로 분석한다.
• 분포에서 세 구간 구조를 식별한다.
• 이론적 기대치로부터의 하위 구간 편차를 통계적으로 특징화한다.
• 관찰된 패턴을 재현하기 위한 이중처리 이론에 기초한 컴퓨터 시뮬레이션.
• 언어적 행동을 지배하는 인지적 메커니즘의 관점에서 결과를 해석한다.

실험 결과

연구 질문

• RQ1 Zipf의 법칙은 50개 언어에 걸쳐 보편적인가, 그리고 그 구조적 패턴은 무엇인가?
• RQ2 단어 빈도 분포의 각 구간을 특징짓는 언어적 속성은 무엇인가?
• RQ3 하위 주파수 구간의 하향 편차가 보편적이며 통계적으로 유의한가?
• RQ4 이중처리 인지 모델이 관찰된 Zipfian 구조를 언어 전반에 걸쳐 재현할 수 있는가?

주요 결과

• 모든 50개 언어에서 세 구간 Zipfian 패턴이 나타난다.
• 하위 구간은 이론적 Zipf 기대에 비해 일관되게 아래쪽으로 휜다.
• 하향 편차는 자연어 단어 빈도에서 근본적이고 보편적인 특징으로 보인다.
• 이중처리 기반의 컴퓨터 시뮬레이션은 동일한 구조 패턴의 Zipfian 분포를 산출한다.
• 결과는 이중처리와 같은 인지적 메커니즘이 언어의 Zipf의 법칙의 기저에 있음을 시사한다.