[論文レビュー] Unsupervised Discovery of Morphemes

Mathias Creutz, Krista Lagus|ArXiv.org|May 21, 2002

Algorithms and Data Compression参考文献 10被引用数 23

ひとこと要約

本稿では、事前の言語学的知識なしに語彙素に類する単位に語を分割する2つの教師なし手法—再帰的MDLおよび逐次ML—を提案する。最小記述長および最尤推定の原則に基づき、特に語形変化が豊富な言語（例：フィンランド語）において、高い正確性で語彙的構造を同定する。再帰的MDL手法は、フィンランド語コーパスにおいて、最先端のシステムを上回る性能を発揮した。

ABSTRACT

We present two methods for unsupervised segmentation of words into morpheme-like units. The model utilized is especially suited for languages with a rich morphology, such as Finnish. The first method is based on the Minimum Description Length (MDL) principle and works online. In the second method, Maximum Likelihood (ML) optimization is used. The quality of the segmentations is measured using an evaluation method that compares the segmentations produced to an existing morphological analysis. Experiments on both Finnish and English corpora show that the presented methods perform well compared to a current state-of-the-art system.

研究の動機と目的

• ラベルなし言語学的アノテーションを用いずに、生テキストから語彙素を発見する教師なし手法の開発。
• 語形変化が豊富な言語（例：フィンランド語）における語彙的複雑性の課題に対処すること。語形は数千にのぼる可能性がある。
• 語彙素を基本単位として用いることで、統計的言語モデルおよびNLPアプリケーションの性能向上。
• 人間によるアノテーションが施されたコーパスを用いて、既存の語彙解析器と比較して、教師なし分割手法の性能を評価すること。
• MDLまたはMLによるモデル最適化が、言語をまたいでより高い分割正確度と頑健性をもたらすかどうかの検討。

提案手法

• 再帰的MDL手法は、最小記述長の原則に従い、語を語彙素に類する単位に再帰的に分割することで、コーパスおよびモデルの総記述長を最小化する。
• 逐次ML手法は、最尤推定を用い、ビタビ分割と反復的改善を適用し、モデルの複雑さをバランスさせるためのペナルティ項を導入する。
• 両手法とも教師なしで動作し、タグなしコーパス内の語の共起および分布的パターンに基づいて、語彙素境界を学習する。
• モデルは、フィンランド語および英語の語の大量コーパスで学習され、予測された境界をゴールスタンダードの語彙解析と比較して分割品質を評価する。
• 1,000語分のフィンランド語語彙トークンの視覚的検査を用い、分割結果を「正しい」「不完全」「誤り」に分類することで、人間による検証を経た正確度推定がなされた。
• 再帰的MDL手法は再帰的分割戦略を採用するが、逐次ML手法は、初期ラウンドで除外基準を適用する前向き・後ろ向き型最適化を用いる。

実験結果

リサーチクエスチョン

• RQ1 事前の言語学的知識なしに、語彙的豊富な言語（例：フィンランド語）において、教師なし学習手法が語彙素境界を効果的に発見できるか。
• RQ2 MDLベースとMLベースの最適化戦略は、異なる言語において、分割正確度および頑健性の観点でどのように比較されるか。
• RQ3 提案手法は、フィンランド語および英語コーパスにおいて、既存の最先端システムをどの程度上回るか。
• RQ4 特定の手法が過剰に分割する、または一般的な語形を正しく分割できない理由は何か。また、こうした誤りは、下流のNLPアプリケーションにどのような影響を及えるか。
• RQ5 モデル構造は、階層的または非線形な接尾語構造を持つ言語における語彙的複雑性の処理において、果たす役割は何か。

主な発見

• 再帰的MDL手法は、2,500語分のフィンランド語語彙トークンのサンプルで49.6%の正しく分割された語の正確度を達成し、逐次ML（47.3%）およびLinguistica（43.1%）を上回った。
• 再帰的MDL手法は、極めて一般的な語形を分割しない傾向を示した一方で、希少語には過剰に分割する傾向があり、頻度分布の処理におけるトレードオフが顕在化した。
• 逐次ML手法は、再帰的MDL（20.6%）と比較して、誤った分割率（37.4%）が高かったが、一般的な語形の処理には優れていた。
• Linguisticaは分割を控えめにしたが、多くの一般的な語形で誤った分割を生じ、評価において32.8%の分割が「誤り」と分類された。
• 再帰的MDL手法は、複雑なフィンランド語合成語（例：eläintarha や eläinmuseo）に対しても、完全かつ正確な分割を実現した。
• MDLベースのアプローチはMLベースの最適化を常に上回ったが、その理由（目的関数か分割戦略か）は、実験から明確でないままだった。