[논문 리뷰] The word entropy of natural languages

Christian Bentz, Dimitrios Alikaniotis|arXiv (Cornell University)|2016. 06. 22.

Natural Language Processing Techniques참고 문헌 36인용 수 15

한 줄 요약

이 논문은 21개 언어를 대상으로 병렬 코퍼스를 사용하여 단어 엔트로피 수렴점을 추정하는 방법을 제안하며, 1000개 이상의 언어에서 신뢰할 수 있는 단어 엔트로피 추정이 가능하게 한다. 약 70,000 토큰의 텍스트가 충분히 안정된 엔트로피 추정을 위해 필요하다는 점을 입증하고, 블록 엔트로피와 소스 엔트로피 간의 강한 상관관계를 규명하여 선형 변환을 통한 효율적 엔트로피 예측이 가능하게 하며, 이는 다국어 번역 평가 및 다국어 간 의미 유사도 정규화를 향상시킨다.

ABSTRACT

The average uncertainty associated with words is an information-theoretic concept at the heart of quantitative and computational linguistics. The entropy has been established as a measure of this average uncertainty - also called average information content. We here use parallel texts of 21 languages to establish the number of tokens at which word entropies converge to stable values. These convergence points are then used to select texts from a massively parallel corpus, and to estimate word entropies across more than 1000 languages. Our results help to establish quantitative language comparisons, to understand the performance of multilingual translation systems, and to normalize semantic similarity measures.

연구 동기 및 목표

• 다양한 언어에서 단어 엔트로피 추정이 안정화되는 최소 텍스트 크기를 규명하는 것.
• 대규모 병렬 코퍼스를 활용하여 1000개 이상의 언어에서 단어 엔트로피를 안정적으로 추정할 수 있도록 하는 것.
• 효율적인 엔트로피 추정을 위해 블록 엔트로피와 소스 엔트로피 간의 강력한 경험적 연관성을 확립하는 것.
• 분포적 의미론에서 다국어 간 의미 유사도 측정의 정규화를 지원하는 것.
• 원천 언어와 대상 언어 간 엔트로피 비율을 기반으로 번역 시스템 성능을 예측하는 것.

제안 방법

• 21개의 병렬 언어에서 최대 3,000만 토큰까지 블록 엔트로피 추정과 소스 엔트로피 추정을 사용하여 단어 엔트로피를 계산한다.
• 일반화된 블록 엔트로피에서 소스 엔트로피를 예측하기 위한 선형 모델을 적용한다: $\tilde{H}(T) = -1.59 + 0.82 \cdot H_1(T)$, 계산 비용을 절감한다.
• 21개 언어 샘플에서 유도된 수렴 임계값을 기반으로 대규모 병렬 코퍼스에서 텍스트를 선별한다.
• 검증된 수렴 및 예측 프레임워크를 사용하여 1360개의 텍스트와 1001개의 언어에서 단어 엔트로피를 추정한다.
• 통계적 기계 번역 시스템에서 BLEU 점수와 엔트로피 비율 간의 상관관계를 분석하여 방법의 타당성을 검증한다.
• 언어별 엔트로피를 사용하여 정보 내용을 정규화함으로써 다국어 간 편향을 보정하고 의미 유사도 측정을 공정하게 조정한다.

실험 결과

연구 질문

• RQ1 다양한 자연어에서 안정적인 단어 엔트로피 추정을 위해 필요한 최소 텍스트 크기는 얼마인가?
• RQ2 여러 언어 간 블록 엔트로피와 소스 엔트로피는 어떤 관계가 있으며, 상호 예측이 가능한가?
• RQ3 언어 간 단어 엔트로피의 차이가 다국어 기계 번역 성능에 어느 정도 영향을 미치는가?
• RQ4 작은 샘플에서 유도된 수렴 임계값을 사용하여 1000개 이상의 언어에서 단어 엔트로피를 안정적으로 추정할 수 있는가?
• RQ5 어떻게 단어 엔트로피를 활용하여 다국어 간 분포적 의미론에서 의미 유사도 측정을 정규화할 수 있는가?

주요 결과

• 21개 언어에서 약 70,000 토큰의 텍스트가 충분히 안정된 단어 엔트로피 추정을 위해 필요하며, 이 크기에서 수렴이 관찰된다.
• 다양한 언어 간 블록 엔트로피와 소스 엔트로피 사이에는 강력한 선형 관계가 존재하며, 상관계수는 0.98이다.
• 선형 모델 $\tilde{H}(T) = -1.59 + 0.82 \cdot H_1(T)$ 은 블록 엔트로피에서 소스 엔트로피를 예측하며 평균 오차는 단지 0.03 비트이다.
• BLEU 점수로 측정된 번역 성능은 원천 언어와 대상 언어 간 엔트로피 비율과 유의미하게 상관관계가 있다 (r = 0.58, p < 0.0001).
• 핀란드어의 단어 엔트로피(8.35)는 영어(6.32)보다 높으며, 이는 영어 → 핀란드어 번역에서 BLEU 점수(13)가 영어 → 영어 번역(21.8)보다 낮은 데 기인한다.
• 언어별 엔트로피로 정보 내용을 정규화함으로써 다국어 간 편향을 줄이고 의미 유사도 측정의 공정한 비교를 가능하게 한다.