[論文レビュー] Morphological annotation of Korean with Directly Maintainable Resources

Ivan Berlocher, Hyun-Gue Huh+2 more|ArXiv.org|Nov 21, 2007

Natural Language Processing Techniques参考文献 9被引用数 3

ひとこと要約

本稿では、従来の語彙素規則に依存せずに、語幹、接尾語変換器、アロモルフ生成器から構成される直接保守可能な語彙の使用によって、韓国語のリソースベースの形態素解析システムを提示する。訓練を一切行わずに89%の再現率を達成し、1秒間に1,210語の処理速度を実現し、アゴラティブ文脈における句構造解析パイプラインへの統合に適した、効率的で更新可能な言語処理を可能にする。

ABSTRACT

This article describes an exclusively resource-based method of morphological annotation of written Korean text. Korean is an agglutinative language. Our annotator is designed to process text before the operation of a syntactic parser. In its present state, it annotates one-stem words only. The output is a graph of morphemes annotated with accurate linguistic information. The granularity of the tagset is 3 to 5 times higher than usual tagsets. A comparison with a reference annotated corpus showed that it achieves 89% recall without any corpus training. The language resources used by the system are lexicons of stems, transducers of suffixes and transducers of generation of allomorphs. All can be easily updated, which allows users to control the evolution of the performances of the system. It has been claimed that morphological annotation of Korean text could only be performed by a morphological analysis module accessing a lexicon of morphemes. We show that it can also be performed directly with a lexicon of words and without applying morphological rules at annotation time, which speeds up annotation to 1,210 word/s. The lexicon of words is obtained from the maintainable language resources through a fully automated compilation process.

研究の動機と目的

• 語彙素規則エンジンへの依存を避ける韓国語形態素解析システムの開発。
• 語幹語彙と接尾語変換器といった、直接保守可能な言語リソースのみを用いて高精度な解析を実現すること。
• 句構造解析パイプラインへの統合に適した高速な解析速度を達成すること。
• 言語リソースの手動更新によって、システムのパフォーマンスを制御・進化できることを保証すること。
• 解析時における語彙素レベルの語彙やルールベース解析なしに、韓国語の形態素解析が可能であることを示すこと。

提案手法

• 本システムは、保守可能なコンponentsから自動的に構成される語幹語彙を主な言語リソースとして使用する。
• 事前に定義された形態素パターンに基づき、接尾語変換器を適用して語を語彙素に分解する。
• アロモルフ生成は、専用の変換器が、正しい屈曲形態を生成する。
• 実行時における解析はルールフリーであり、事前にコンパイルされた保守可能なリソースにのみ依存する。
• タグセットは標準のものよりも3～5倍細かく、豊富な言語的タグを含む語彙素グラフを構築する。
• 語彙、変換器、生成ルールのすべてのコンponentsは、長期的な保守性を確保するため、手動での更新が容易に設計されている。

実験結果

リサーチクエスチョン

• RQ1 語彙素レベルの語彙や実行時における形態素規則に依存せずに、韓国語の形態素解析を効果的に行うことは可能か？
• RQ2 直接保守可能で手動で更新可能な言語リソースのみを用いて、高い再現率と高速処理を達成できるか？
• RQ3 保守可能なコンponentsから構成される単語ベースの語彙をコンパイルし、正確な形態素解析を実現することは可能か？
• RQ4 ルールフリーでリソースベースのシステムのパフォーマンスは、従来の形態素解析器と比較して、再現率と処理速度の面でどの程度優れているか？
• RQ5 言語リソースの直接的な保守によって、システムの正確性と挙動をどの程度制御できるか？

主な発見

• 本システムは、コーパスベースの訓練を一切行わず、基準アノテーション付きコーパスで89%の再現率を達成した。
• 解析速度は1秒間に1,210語に達し、ルールベースのアプローチよりも顕著に高速である。
• 語彙と変換器の手動更新によって、本システムのパフォーマンスが直接制御可能である。
• タグセットの細分化度は標準タグセットの3～5倍であり、細かく分類された言語的アノテーションを可能にした。
• 語彙素レベルの語彙の必要性を回避するという点で、本手法は成功した。これは、単語レベルのリソースが正確な形態素解析を支えることができることを証明した。
• 完全に自動化されたコンパイルプロセスにより、語彙が下位の保守可能なリソースと整合性を保ったまま維持された。