[논문 리뷰] Distinct word length frequencies: distributions and symbol entropies

Reginald D. Smith|arXiv (Cornell University)|2012. 07. 10.

Fractal and DNA sequence analysis참고 문헌 18인용 수 31

한 줄 요약

이 논문은 경험적 데이터와 정보이론을 사용하여 다양한 언어에서 고유 단어 길이의 빈도 분포를 분석한다. 문자와 공백의 확률에 기반한 통계 모델을 유도하여 길이별 단어 빈도를 예측하고, 조건부 엔트로피를 적용하여 어휘 분포를 추정하며, 여러 언어에서 실제 언어 데이터와 강한 일치를 보인다.

ABSTRACT

The distribution of frequency counts of distinct words by length in a language's vocabulary will be analyzed using two methods. The first, will look at the empirical distributions of several languages and derive a distribution that reasonably explains the number of distinct words as a function of length. We will be able to derive the frequency count, mean word length, and variance of word length based on the marginal probability of letters and spaces. The second, based on information theory, will demonstrate that the conditional entropies can also be used to estimate the frequency of distinct words of a given length in a language. In addition, it will be shown how these techniques can also be applied to estimate higher order entropies using vocabulary word length.

연구 동기 및 목표

• 실제 자료를 사용하여 자연어에서 고유 단어 길이의 분포를 모델링하기.
• 한계 문자 확률과 단어 길이 빈도 및 분산을 연결하는 통계 프레임워크를 유도하기.
• 특히 조건부 엔트로피를 포함한 정보이론적 방법을 사용하여 길이별 단어 빈도를 추정하기.
• 여러 언어에 걸쳐 모델을 검증하고 예측 능력을 평가하기.
• 단어 길이를 통해 어휘 구조를 기술하는 데 높은 차수의 엔트로피를 사용해 볼 수 있는지 탐색하기.

제안 방법

• 실제 어휘 자료를 사용하여 다국어에서의 단어 길이 빈도 분포를 경험적으로 분석하기.
• 문자와 공백의 출현 비율에 기반한 확률 모델을 유도하여 길이별 단어 빈도를 예측하기.
• 언어 내 단어 길이의 정보량을 추정하기 위해 조건부 엔트로피를 사용하기.
• 샤논 엔트로피와 높은 차수의 엔트로피 측정법을 단어 길이 분포에 적용하기.
• 관측된 자료에 이론적 분포를 맞추어 적합도 평가하기.
• 모델 예측값을 언어 어휘 자료에서의 실제 단어 빈도 데이터와 비교하기.

실험 결과

연구 질문

• RQ1 다양한 언어에서 고유 단어의 빈도는 단어 길이에 따라 어떻게 변하는가?
• RQ2 문자와 공백의 확률에 기반한 통계 모델이 단어 길이 빈도 분포를 정확하게 예측할 수 있는가?
• RQ3 조건부 엔트로피가 주어진 길이의 고유 단어 수를 어느 정도 정확하게 추정할 수 있는가?
• RQ4 이론적 엔트로피 기반 모델이 실제 언어의 관측된 단어 길이 빈도와 얼마나 잘 일치하는가?
• RQ5 단어 길이에서 유도된 높은 차수의 엔트로피는 어휘 구조에 대한 통찰을 제공할 수 있는가?

주요 결과

• 모델은 문자와 공백의 한계 확률만을 사용하여 각 길이의 고유 단어 수를 정확하게 예측한다.
• 고유 단어 길이의 분포는 문자 확률에 기반한 음수 이항분포 유사 분포로 예측 가능한 패턴을 따른다.
• 조건부 엔트로피 값은 관측된 단어 빈도 분포와 강하게 상관되어 있어 정보이론적 접근의 타당성을 입증한다.
• 평균 단어 길이와 분산은 동일한 기초 문자 확률 모델에서 해석적으로 유도될 수 있다.
• 모델은 여러 언어에서 일관된 성능을 보이며 일반화 가능성을 시사한다.
• 단어 길이 기반의 높은 차수 엔트로피 측정법은 어휘 다양성과 구조에 대한 추가적인 통찰을 제공한다.