[論文レビュー] Tagging and Morphological Disambiguation of Turkish Text

Kemal Oflazer, Ìlker Kuruöz|ArXiv.org|Jul 29, 1994

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、完全な2段階形態素解析仕様、多語彙的・慣用的表現認識器、および局所的制約とヒューリスティクスを用いた形態素解析のあいまいさ解消を統合した、ルールおよび統計に基づくトルコ語の品詞タギングシステムを提示する。このシステムは最小限のユーザー介入で98–99％のタギング精度を達成し、LFGパーサーのあいまいさを50％削減するとともに、パース速度を2.5倍に向上させる。

ABSTRACT

Automatic text tagging is an important component in higher level analysis of text corpora, and its output can be used in many natural language processing applications. In languages like Turkish or Finnish, with agglutinative morphology, morphological disambiguation is a very crucial process in tagging, as the structures of many lexical forms are morphologically ambiguous. This paper describes a POS tagger for Turkish text based on a full-scale two-level specification of Turkish morphology that is based on a lexicon of about 24,000 root words. This is augmented with a multi-word and idiomatic construct recognizer, and most importantly morphological disambiguator based on local neighborhood constraints, heuristics and limited amount of statistical information. The tagger also has functionality for statistics compilation and fine tuning of the morphological analyzer, such as logging erroneous morphological parses, commonly used roots, etc. Preliminary results indicate that the tagger can tag about 98-99\% of the texts accurately with very minimal user intervention. Furthermore for sentences morphologically disambiguated with the tagger, an LFG parser developed for Turkish, generates, on the average, 50\% less ambiguous parses and parses almost 2.5 times faster. The tagging functionality is not specific to Turkish, and can be applied to any language with a proper morphological analysis interface.

研究の動機と目的

• トルコ語は非常にアグリューティブな言語であり、複雑な形態素のあいまいさを有するため、そのような言語向けに堅牢な品詞タギングシステムを開発すること。
• 局所的近傍制約、ヒューリスティクス、および限定的な統計データを用いて、トルコ語の形態素のあいまいさ解消を扱うこと。
• 約24,000語の語根語彙を備えた完全な2段階形態素解析仕様を、正確な形態素解析に統合すること。
• 繰り返しの微調整とエラー記録のためのメカニズムを提供し、形態素解析器の継続的改善を可能にすること。
• このタギングフレームワークが、パースなど下流のNLPタスクへの応用可能性を示すこと。

提案手法

• システムは、約24,000語の語根語彙に基づく完全なスケールの2段階形態素モデルを用い、可能な語形を生成する。
• 非構成的語彙的単位を扱うために、多語彙的・慣用的表現認識器を統合する。
• 競合する解析のあいまいさを解消するために、局所的文脈制約と手作業で作成されたヒューリスティクスを用いて形態素のあいまいさ解消を実行する。
• 限定的な統計情報を用いてあいまいさ解消の意思決定を支援し、大規模なアノテート済みコーパスを必要とせずに精度を向上させる。
• 誤った解析と頻出語根の記録を可能にするログ記録メカニズムをタガーラーに組み込むことで、反復的改善を可能にする。
• LFGパーサーと統合し、下流のパース性能とあいまいさ削減の評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 ルールベースの形態素のあいまいさ解消システムは、最小限のユーザー入力でトルコ語のテキストに対して高い精度のタギングを達成できるか？
• RQ2 形態素のあいまいさ解消は、トルコ語の文法的パースにおけるあいまいさをどの程度低減するか？
• RQ3 2段階形態素解析、ヒューリスティクス、および限定的な統計の組み合わせは、形態素のあいまいさ解消にどの程度効果的か？
• RQ4 このタギングシステムは、品詞タギングを超えて、他のNLPアプリケーションでも再利用可能か？
• RQ5 このタガーラーの出力を利用することで、パース速度とあいまいさ削減の両面でどの程度の性能向上が達成されるか？

主な発見

• このタガーラーは、最小限のユーザー介入でトルコ語のテキストに対して98–99％の精度を達成しており、高い頑健性と信頼性を示している。
• タガーラーによって処理された文に関しては、LFGパーサーが未タギング入力と比較して、文法的パースのあいまいさを50％削減している。
• タガーラーの出力を用いることで、LFGパーサーの実行速度が約2.5倍に向上しており、顕著な効率的向上が確認された。
• システムのログ記録および統計情報の収集機能により、エラー追跡と使用パターンの分析を通じて、形態素解析器の効果的かつ継続的な微調整が可能である。
• このタギングフレームワークは汎用的であり、適切な形態素解析インターフェースを備えた他の言語へも容易に適応可能である。