[논문 리뷰] Zipf's law is a consequence of coherent language production

Jake Ryland Williams, James P. Bagrow외 4명|arXiv (Cornell University)|2016. 01. 29.

Natural Language Processing Techniques참고 문헌 1인용 수 7

한 줄 요약

이 논문은 자연어에서의 지프의 법칙이 무작위 과정이 아니라 일관되고 주제가 동질적인 언어 생성에서 비롯된다는 것을 제안한다. 단어 수준의 토큰화 대신 전문가가 주석을 달아준 어구 분할을 사용함으로써, 저자는 어구 기반 텍스트 표현이 시몬의 언어 생성 확률 모델에 더 잘 맞음을 보여주며, R² 적합도가 크게 향상되어 최대 0.95에 이를 정도로 향상되었고, 주제가 동질적인 텍스트—특히 사전이 아닌 작품들—이 지프의 법칙을 더 강하게 따름을 드러냈다.

ABSTRACT

The task of text segmentation may be undertaken at many levels in text analysis---paragraphs, sentences, words, or even letters. Here, we focus on a relatively fine scale of segmentation, hypothesizing it to be in accord with a stochastic model of language generation, as the smallest scale where independent units of meaning are produced. Our goals in this letter include the development of methods for the segmentation of these minimal independent units, which produce feature-representations of texts that align with the independence assumption of the bag-of-terms model, commonly used for prediction and classification in computational text analysis. We also propose the measurement of texts' association (with respect to realized segmentations) to the model of language generation. We find (1) that our segmentations of phrases exhibit much better associations to the generation model than words and (2), that texts which are well fit are generally topically homogeneous. Because our generative model produces Zipf's law, our study further suggests that Zipf's law may be a consequence of homogeneity in language production.

연구 동기 및 목표

• 자연어에서의 지프의 법칙이 무작위 과정이 아니라 일관되고 주제가 동질적인 언어 생성의 결과인지 여부를 조사하는 것.
• 단어 수준의 토큰화 대신 전문가 주석 기반 어구 분할을 사용하여 텍스트 표현의 시몬 언어 생성 모델에 대한 적합도를 향상시키는 것.
• 텍스트의 분할이 생성 모델과 얼마나 잘 일치하는지 측정할 수 있는 방법을 개발하여, R²를 모델 연관성의 지표로 사용하는 것.
• 어구 기반 분석이 계산적 텍스트 분석에서 바구니-오브-텀 모델의 가정을 더 잘 따르며 해석 가능성도 향상됨을 보여주는 것.
• 특히 이질적이거나 짧은 작품들 같은 텍스트 유형이 모델에 잘 맞지 않는다는 것을 밝히고, 부적합성의 원인을 주제의 일관성 부족과 연결하는 것.

제안 방법

• Wik션어리와 MWE 벤치마크에서 전문가 주석 데이터를 기반으로 한 결합 끊김 확률을 활용해 어구로 텍스트를 분할하는 확률적 텍스트 분할 프레임워크를 사용한다.
• 메모리가 없는, 빈도 비례적 용어 생성을 특징으로 하는 시몬 모델을 생성 모델로 활용하여 실제 텍스트가 이론적 분포와 얼마나 잘 맞는지 테스트한다.
• 관측된 어구 빈도와 예측된 시몬 모델 분포 사이의 R²를 사용해 모델 적합도를 측정하며, 균일한(q=1/2) 및 최적화된(MLP) 분할 전략을 모두 적용한다.
• 학습 데이터에서 최적의 분할 파라미터를 학습하기 위해 머신러닝 파이프라인(MLP)을 활용하여 균일한 랜덤 분할 대비 적합도를 향상시킨다.
• 도서관의 국립도서관 분류 체계와 주제별로 프로젝트 구글리드 eBooks를 분석하여 다양한 텍스트 유형 간 모델 적합도(R²)의 변동성을 평가한다.
• 11개 언어를 지원하고 상호작용 가능한 온라인 부록을 제공하는 공개된 파이썬 패키지(https://github.com/jakerylandwilliams/partitioner)를 개발한다.

실험 결과

연구 질문

• RQ1 전문가 주석 기반 어구 분할이 단어 수준의 토큰화보다 시몬 모델에 대한 텍스트 빈도 분포의 적합도를 향상시키는가?
• RQ2 일관된 텍스트에서 모델 적합도가 향상됨으로써 자연어에서의 지프의 법칙이 주제가 동질적인 언어 생성의 결과임을 확인할 수 있는가?
• RQ3 사전, 교과서, 시, 소설과 같은 다양한 텍스트 유형 간 시몬 모델에 대한 적합도(R²)는 어떻게 달라지는가?
• RQ4 시몬 모델에 대한 R² 적합도 지표는 주제의 동질성 또는 텍스트의 일관성 여부를 나타내는 데 사용될 수 있는가?
• RQ5 짧거나 이질적이거나 혼합된 콘텐츠를 포함한 텍스트들이 바구니-오브-텀 모델의 가정과 시몬 생성 과정의 가정을 얼마나 잘 따르지 못하는가?

주요 결과

• 전문가 주석 기반 어구 분할은 시몬 모델에 대한 텍스트 빈도 분포의 적합도를 크게 향상시키며, R² 값이 최대 0.95에 이르게 되어 단어 수준 분석의 결과보다 훨씬 높아진다.
• 주제가 동질적인 텍스트—의료, 법적, 군사 과학 서적 등—은 높은 R² 값을 보이며(중앙값 > 0.6), 반면 이질적인 텍스트—사전, 주간지—는 낮은 적합도를 보이며(R² < 0.6) 부적합하다.
• 시, 단편 소설, 과학 소설는 짧고 표준이 아닌 어구 사용으로 인해 빈도 분포의 안정화가 부족해 자주 낮은 R² 값을 보이며, 이는 분포 패턴의 안정성 부족을 시사한다.
• 모델 적합도(R²)는 텍스트의 일관성과 강하게 상관되어 있으며, 명확한 주제 경계나 일관된 주제를 가진 텍스트는 시몬 모델과 더 잘 일치한다.
• 사전과 철자 교정서는 항상 가장 낮은 R² 값을 보이며, 바구니-오브-텀 기반 분석에 부적합함을 확인한다.
• MLP 최적화 분할 방법은 거의 모든 경우에서 균일한 랜덤 분할(q=1/2)보다 성능이 뛰어나며, 히ュ리스틱 접근보다 데이터 기반 분할의 가치를 입증한다.