[論文レビュー] The word entropy of natural languages

Christian Bentz, Dimitrios Alikaniotis|arXiv (Cornell University)|Jun 22, 2016

Natural Language Processing Techniques参考文献 36被引用数 15

ひとこと要約

本稿では、21言語の並列コーパスを用いて、1000語以上の言語における語エントロピーの収束点を推定する手法を提案する。テキストが約70,000語に達すればエントロピー推定が安定することを示し、ブロックエントロピーとソースエントロピーの強い相関関係を特定。線形変換による効率的なエントロピー予測が可能となり、多言語翻訳評価および言語間の意味的類似度の正規化に寄与する。

ABSTRACT

The average uncertainty associated with words is an information-theoretic concept at the heart of quantitative and computational linguistics. The entropy has been established as a measure of this average uncertainty - also called average information content. We here use parallel texts of 21 languages to establish the number of tokens at which word entropies converge to stable values. These convergence points are then used to select texts from a massively parallel corpus, and to estimate word entropies across more than 1000 languages. Our results help to establish quantitative language comparisons, to understand the performance of multilingual translation systems, and to normalize semantic similarity measures.

研究の動機と目的

• 多様な言語において語エントロピー推定が安定する最小テキストサイズを特定すること。
• 大規模並列コーパスを用いて、1000語以上の言語における語エントロピーの信頼性ある推定を可能にすること。
• ブロックエントロピーとソースエントロピーの間の強い実証的関係を確立し、効率的なエントロピー推定を可能にすること。
• 分布的意味論における言語間の意味的類似度測定の正規化を支援すること。
• ソース言語とターゲット言語間のエントロピー比に基づいて翻訳システムのパフォーマンスを予測すること。

提案手法

• 21言語の並列言語で、ブロックエントロピー推定とソースエントロピー推定を用いて語エントロピーを計算。最大3000万語まで対応。
• ユニグラムブロックエントロピーからソースエントロピーを予測する線形モデルを適用：$\tilde{H}(T) = -1.59 + 0.82 \cdot H_1(T)$。計算コストを低減。
• 21言語のサンプルから導出された収束閾値に基づき、大規模並列コーパスからテキストを選択。
• 検証済みの収束および予測フレームワークを用いて、1360のテキストおよび1001の言語で語エントロピーを推定。
• 統計的機械翻訳システムにおけるBLEUスコアとエントロピー比の相関関係を用いて、手法の妥当性を検証。
• 言語固有のエントロピーを用いて情報含量を正規化し、言語間バイアスを補正することで、分布的意味論における意味的類似度測定の公平性を向上。

実験結果

リサーチクエスチョン

• RQ1 多様な自然言語において、語エントロピー推定が安定するための最小テキストサイズは何か？
• RQ2 複数の言語においてブロックエントロピーとソースエントロピーの関係は何か？また、片方がもう片方を予測可能か？
• RQ3 言語間の語エントロピーの差が、多言語機械翻訳パフォーマンスに及ぼす影響はどの程度か？
• RQ4 小さなサンプルからの収束閾値を用いて、1000語以上の言語で語エントロピーを信頼性高く推定可能か？
• RQ5 語エントロピーを用いて、言語間の分布的意味論における意味的類似度測定を正規化できるか？

主な発見

• 21言語において、約70,000語のテキストで語エントロピー推定が安定し、このスケールで収束が確認された。
• 言語間でブロックエントロピーとソースエントロピーの強い線形関係が存在し、相関係数は0.98であった。
• 線形モデル $\tilde{H}(T) = -1.59 + 0.82 \cdot H_1(T)$ は、ブロックエントロピーからソースエントロピーを予測し、平均誤差はわずか0.03ビットであった。
• BLEUスコアで測定した翻訳パフォーマンスは、ソース言語とターゲット言語間のエントロピー比と有意に相関しており（r = 0.58、p < 0.0001）、有意義な関係が確認された。
• フィンランド語の語エントロピー（8.35）は英語（6.32）よりも高いが、これは英語→フィンランド語翻訳のBLEUスコア（13）が英語→英語翻訳（21.8）より低いことを説明している。
• 言語固有のエントロピーを用いて情報含量を正規化することで、言語間バイアスが低減され、言語間の比較がより公平に行えるようになった。