[論文レビュー] A New Look at the Classical Entropy of Written English

Fabio G. Guerrero|ArXiv.org|Nov 12, 2009

Algorithms and Data Compression参考文献 6被引用数 11

ひとこと要約

この論文は、2030万文字のテキストを用いて、シャノンの情報理論の原則に従い、直接的で計算ベースの方法で、書かれた英語のエントロピーと再冗長性を推定する手法を提示する。エントロピーの精密な値は約1.3ビット/文字であり、言語モデル構築における新たな知見を提供する。その応用は、改ざん検出やソーシャルメディアのメッセージ効率向上に影響を与える。

ABSTRACT

A simple method for finding the entropy and redundancy of a reasonable long sample of English text by direct computer processing and from first principles according to Shannon theory is presented. As an example, results on the entropy of the English language have been obtained based on a total of 20.3 million characters of written English, considering symbols from one to five hundred characters in length. Besides a more realistic value of the entropy of English, a new perspective on some classic entropy-related concepts is presented. This method can also be extended to other Latin languages. Some implications for practical applications such as plagiarism-detection software, and the minimum number of words that should be used in social Internet network messaging, are discussed.

研究の動機と目的

• 実際のテキストデータを用いて、書かれた英語のエントロピーをより正確かつ経験的根拠に基づいて推定すること。
• 第一原理から直接計算することで、古典的なエントロピー関連の概念を再評価すること。
• 改ざん検出やソーシャルメディアのメッセージ送信効率といった分野におけるエントロピー測定の実用的応用を検討すること。
• この手法を他のラテン文字を用いる言語に拡張すること。
• より大規模で代表的なテキストサンプルを用いることで、過去のエントロピーおよび再冗長性の推定値を是正・更新すること。

提案手法

• 2030万文字の書かれた英語のコーパスを、文字および文字列の周辺頻度を直接数える方法で処理する。
• エントロピーはシャノンの公式 H = -Σ p_i log₂ p_i を用いて、文字レベルおよびn-gramレベルの分布に適用する。
• 再冗長性は R = 1 - (H / H_max) で算出され、ここで H_max は指定された文字セットにおける最大エントロピーである。
• 長距離依存性を評価するために、長さ1から500文字までのシンボル列を検討する。
• さまざまなn-gram長におけるエントロピー値の重み付き平均を計算し、言語構造全体の特徴を反映させる。
• 更新された再冗長性計算および修正された参考文献を含む反復的補正を通じて、手法の妥当性と洗練度を検証する。

実験結果

リサーチクエスチョン

• RQ1 大規模で実際のテキストコーパスから直接計算した場合、書かれた英語の実際のエントロピーはどのくらいか？
• RQ2 より小規模または代表的でないサンプルに基づく古典的推定値と比較して、書かれた英語の再冗長性はどのように異なるか？
• RQ3 書かれた英語における長距離依存性は、エントロピー推定にどの程度の影響を及ぼすか？
• RQ4 この計算手法は他のラテン文字を用いる言語に一般化可能か？
• RQ5 改ざん検出やデジタル通信といった応用分野において、正確なエントロピー値がもたらす実用的意義は何か？

主な発見

• 2030万文字のテキストサンプルに基づき、書かれた英語のエントロピーは約1.3ビット/文字と推定された。
• 書かれた英語の再冗長性は約86%と算出され、言語構造の高い予測可能性を示している。
• より大規模で代表的なデータセットと洗練された平均化手法を用いることで、過去の推定値を是正した。
• この手法により、n-gram長が増加するにつれてエントロピーが低下することが示され、長い列において予測可能性が高まることを裏付けた。
• 結果は、改ざん検出ソフトウェareなどの実用的システムにおけるエントロピーに基づく指標の実現可能性を支持する。
• このアプローチは他のラテン文字を用いる言語へも拡張可能であり、言語的エントロピー分析のスケーラブルなフレームワークを提供する。