[論文レビュー] Unsupervised Learning of Morphology without Morphemes

Sylvain Neuvel, Sean A. Fulop|arXiv (Cornell University)|May 29, 2002

Natural Language Processing Techniques参考文献 4被引用数 6

ひとこと要約

本稿では、形態素の特定を経ずに、品詞付き語彙を直接入力として受け取り、形態的関係を学習する非教師あり計算モデルであるWhole Word Morphologizer（WWM）を提示する。全単語形態論フレームワークを用いて、WWMは初期段階で80%の正確性で新しい語形を生成し、後処理による語彙ブロッキングを施すと92%まで向上する。これは、従来の形態素ベースの分析に依存せずに、形態論が習得され、生成可能であることを示している。

ABSTRACT

The first morphological learner based upon the theory of Whole Word Morphology Ford et al. (1997) is outlined, and preliminary evaluation results are presented. The program, Whole Word Morphologizer, takes a POS-tagged lexicon as input, induces morphological relationships without attempting to discover or identify morphemes, and is then able to generate new words beyond the learning sample. The accuracy (precision) of the generated new words is as high as 80% using the pure Whole Word theory, and 92% after a post-hoc adjustment is added to the routine.

研究の動機と目的

• 形態素の特定に依存せずに、データから直接形態論を学習する計算モデルの開発。
• 全単語形態論が、新しい語形の習得と生成を両立できることの実証。
• 多様な言語タイプに一般化可能な、従来の形態素ベースの計算形態論の代替案の提供。
• 事前言語理論やアノテート済み形態素境界がなくても、形態構造の非教師あり学習が可能であることを示すこと。
• 語彙から学習したパターンのみに基づいて、新しい有効語形を生成できるシステムの実装。

提案手法

• モデルは、各語を形態素に分解せず、完全な語彙的エントリとして扱う品詞付き語彙を入力とする。
• 語形同士の文字単位比較（左から右、または右から左）により、一貫したパターンを特定することで、形態的関係を同定する。
• 語彙内における語形変化の規則性を検出することで、形態的戦略（例：複数形、動詞の活用）を誘導する。
• 後処理による語彙ブロッキング機構を導入し、既存語彙エントリを優先することで、無効語の生成を防止する。
• 各語にパラダイム番号を割り当て、同じパラダイムとカテゴリを持つ既存語が存在しない場合にのみ、新しい語形を追加する。
• 現在の形態は接頭語および接尾語形態に対応しており、今後は中置形態およびテンプレート形態の拡張を計画している。

実験結果

リサーチクエスチョン

• RQ1 形態素の特定や分割を経ずに、計算モデルが形態的関係を学習できるか。
• RQ2 品詞付き語彙から得られる全単語パターンのみを用いて、新しい有効語形を生成できるか。
• RQ3 全単語形態論に基づくモデルが、従来の形態論理論に依存せずに、高い正確性で語形生成を達成できるか。
• RQ4 語彙ブロッキングは、形態的生成における誤検出の低減にどの程度効果的か。
• RQ5 このアプローチは、多様な形態論的タイプを持つ言語にどの程度一般化可能か。

主な発見

• Whole Word Morphologizerは、純粋な全単語形態論理論のみを用いて、新語形の生成において80%の正確性を達成した。
• 後処理による語彙ブロッキングを施した後、システムの生成正確性は92%まで向上した。
• モデルは、形態素の分割や手動ルールの入力がなくても、形態的戦略を正しく学習・適用できた。
• システムは形態的パターンの学習に加え、語同士のパラダイム的関係を同定し、共通のパラダイム番号を割り当てた。
• このアプローチは、形態素の間接的言語分析を構築することなく、形態論的知識が習得され、生成に利用可能であることを示している。
• 予備的結果から、より良いアライメント技術を用いることで、中置形態やテンプレート形態といったより複雑な形態現象の処理への拡張が可能であると示唆されている。