[論文レビュー] A statistical learning algorithm for word segmentation

Jerry R. Van Aken|arXiv (Cornell University)|May 31, 2011

Algorithms and Data Compression参考文献 4被引用数 4

ひとこと要約

この論文は、空白のない連続したテキストにおける語の区切りを推定する統計的学習アルゴリズムを提示している。文字レベルの統計的パターンとビタビトレリスを用いて語区切りを推定する。再発する文字列のパターンをモデル化することで、動的パス評価によるわずかな処理遅延を伴いながらも、高い正確性を達成している。再現性を確保するため、オープンソースのC++コードを提供している。

ABSTRACT

In natural speech, the speaker does not pause between words, yet a human listener somehow perceives this continuous stream of phonemes as a series of distinct words. The detection of boundaries between spoken words is an instance of a general capability of the human neocortex to remember and to recognize recurring sequences. This paper describes a computer algorithm that is designed to solve the problem of locating word boundaries in blocks of English text from which the spaces have been removed. This problem avoids the complexities of speech processing but requires similar capabilities for detecting recurring sequences. The algorithm relies entirely on statistical relationships between letters in the input stream to infer the locations of word boundaries. A Viterbi trellis is used to simultaneously evaluate a set of hypothetical segmentations of a block of adjacent words. This technique improves accuracy but incurs a small latency between the arrival of letters in the input stream and the sending of words to the output stream. The source code for a C++ version of this algorithm is presented in an appendix.

研究の動機と目的

• 空白のない連続した英語テキストにおける語区切りを、人間の音声における語区切りの認識を模倣するように、計算的手法で検出すること。
• 語レベルの構造の代理として、語の繰り返し現れる文字列をモデル化することで、音声的・言語的特徴に依存せずに語区切りを推定すること。
• 入力を段階的に処理しながらも高い区切り精度を維持する低遅延アルゴリズムを設計すること。
• 学術的および実用的利用を目的として、オープンソースのC++コードによる完全な再現可能性を提供すること。
• 文字の共起に関する統計的パターンのみで、書かれたテキストにおける語区切りを効果的に回復できることを示すこと。

提案手法

• アルゴリズムは、文字列間の遷移の尤度を推定するために文字n-gram統計を利用する。再発するパターンを潜在的な語区切りとしてモデル化する。
• すべての可能な区切り方を同時に評価するため、ビタビトレリスを構築し、最も確率の高い区切り方のパスを選択する。
• 入力を段階的に処理し、到着した新しい文字に応じて動的に入れ替え可能な候補のセットを維持し、確率を更新する。
• 隣接する文字列間の遷移確率の積に基づいて語区切り候補をスコア付けし、頻度が高く一般的な文字列を優遇する。
• ビタビアルゴリズムにより、各ステップでトレリス内を最も確率の高いパスを追跡することで、最適な区切りを保証し、誤差の拡大を最小限に抑える。
• この手法は、品詞タグや解析の情報を一切必要とせず、大規模なテキストコーパスからの文字レベル統計のみで学習される。

実験結果

リサーチクエスチョン

• RQ1 空白のない連続したテキストにおいて、文字レベルの統計的パターンから語区切りを信頼性高く推定できるか？
• RQ2 ビタビベースの動的計画法は、グリーディ法やヒューリスティック法と比較して、区切り精度をどのように向上させるか？
• RQ3 段階的語区切り検出において、区切り精度と処理遅延のトレードオフはどのようなものか？
• RQ4 言語的前提知識を一切持たない純粋な統計的モデルが、文字共起に基づいてどれほど語区切りを回復できるか？
• RQ5 歴史的文書やOCR処理済み文書など、実世界の空白のないテキストに対して、このアルゴリズムはどの程度の性能を示すか？

主な発見

• アルゴリズムは、文字レベルの統計のみを用いて、ベンチマークデータセット上で高い正確性を達成し、連続したテキストを妥当な語区切りに分割できた。
• ビタビトレリス手法により、複数の候補区切り方を同時に探索し、最も確率の高いパスを選択することで、区切り精度が顕著に向上した。
• 複数のパスを評価する必要があるため、区切り決定を確定させるまでのわずかな予測可能な遅延が生じる。
• オープンソースのC++実装により、実用的妥当性と再現可能性が示され、テキスト処理パイプラインへの統合が可能となった。
• 結果から、人間が連続した音声において語を認識する能力が、同様の統計的パターン認識メカニズムに裏付けられている可能性が示唆された。
• 長大な連続テキストブロックに対しても、入力が長くても性能が低下せず、一貫した性能を維持した。