[논문 리뷰] A New Look at the Classical Entropy of Written English

Fabio G. Guerrero|ArXiv.org|2009. 11. 12.

Algorithms and Data Compression참고 문헌 6인용 수 11

한 줄 요약

이 논문은 2030만 자의 텍스트를 사용하여 샤논의 정보이론 원리를 적용해 문장 영어의 엔트로피와 재undancy를 직접 계산 기반으로 추정하는 방법을 제시한다. 약 1.3 비트/문자 수준의 정밀한 엔트로피 값과 언어 모델링에 대한 새로운 통찰을 제공하며, 표절 탐지 및 소셜 미디어 메시징 효율성에 응용 가능성을 제시한다.

ABSTRACT

A simple method for finding the entropy and redundancy of a reasonable long sample of English text by direct computer processing and from first principles according to Shannon theory is presented. As an example, results on the entropy of the English language have been obtained based on a total of 20.3 million characters of written English, considering symbols from one to five hundred characters in length. Besides a more realistic value of the entropy of English, a new perspective on some classic entropy-related concepts is presented. This method can also be extended to other Latin languages. Some implications for practical applications such as plagiarism-detection software, and the minimum number of words that should be used in social Internet network messaging, are discussed.

연구 동기 및 목표

• 실제 텍스트 데이터를 기반으로 문장 영어의 엔트로피를 더 정확하고 경험적으로 추정하고자 한다.
• 기본 원리에서 직접 계산한 자료를 통해 고전적 엔트로피 관련 개념을 재평가하고자 한다.
• 표절 탐지 및 소셜 미디어 메시징과 같은 분야에서 엔트로피 측정의 실용적 응용 가능성을 탐색하고자 한다.
• 이 방법론을 다른 라틴 알파벳 기반 언어로 확장하고자 한다.
• 더 큰, 더 대표성 있는 텍스트 샘플을 사용해 이전의 엔트로피 및 재undancy 추정치를 보정하고 갱신하고자 한다.

제안 방법

• 연구는 2030만 자의 문장 영어 텍스트 코퍼스를 사용하여 문자 및 문자 조합의 빈도를 직접 세는 방식으로 수행된다.
• 엔트로피는 샤논의 공식 H = -Σ p_i log₂ p_i 를 사용하여 계산되며, 이는 문자 수준 및 n-gram 수준의 분포에 적용된다.
• 재undancy는 R = 1 - (H / H_max) 공식으로 유도되며, 여기서 H_max 는 주어진 문자 집합에서 가능한 최대 엔트로피이다.
• 장거리 의존성 평가를 위해 1자에서 500자까지의 기호 조합을 고려한다.
• 다양한 n-gram 길이의 엔트로피 값에 대한 가중 평균을 계산하여 언어의 전체적 구조를 반영한다.
• 수정된 재undancy 계산 및 수정된 참고문헌을 포함한 반복적 보정을 통해 방법론을 검증하고 개선한다.

실험 결과

연구 질문

• RQ1 큰 실제 텍스트 코퍼스에서 직접 계산했을 때, 문장 영어의 실제 엔트로피는 얼마인가?
• RQ2 작은 또는 대표성이 떨어지는 샘플을 기반으로 한 고전적 추정치와 비교해 볼 때, 문장 영어의 재undancy는 어떻게 되는가?
• RQ3 문장 영어의 장거리 의존성이 엔트로피 추정에 어느 정도의 영향을 미치는가?
• RQ4 이 계산 방법은 다른 라틴 알파벳 기반 언어로 일반화될 수 있는가?
• RQ5 정확한 엔트로피 값은 표절 탐지 소프트웨어 및 디지털 커뮤니케이션과 같은 응용 분야에 어떤 실용적 함의를 지닌다?

주요 결과

• 2030만 자의 텍스트 샘플을 기반으로 문장 영어의 엔트로피는 약 1.3 비트/문자로 추정된다.
• 문장 영어의 재undancy는 약 86%로 계산되어 언어 구조의 높은 예측 가능성성을 나타낸다.
• 더 큰, 더 대표성 있는 데이터셋과 정교한 평균화 기법을 사용함으로써 이전의 추정치를 보정하였다.
• 이 방법론은 n-gram 길이가 길어질수록 엔트로피가 감소함을 보여주며, 더 긴 시퀀스에서 예측 가능성의 증가를 반영한다.
• 결과는 엔트로피 기반 지표를 표절 탐지 소프트웨어와 같은 실용적 시스템에 적용할 수 있음을 뒷받침한다.
• 이 접근 방식은 다른 라틴 알파벳 기반 언어로도 확장 가능하며, 언어학적 엔트로피 분석을 위한 확장 가능한 프레임워크를 제공한다.