[論文レビュー] MBT: A Memory-Based Part of Speech Tagger-Generator

Walter Daelemans, Jakub Zavrel+2 more|ArXiv.org|Jul 11, 1996

Natural Language Processing Techniques参考文献 30被引用数 259

ひとこと要約

本稿では、語の文脈-品詞の三つ組みを記録したケースベース上で類似性に基づく推論を用いて品詞を割り当てる、記憶ベースの品詞タガー生成手法MBTを提示する。IGTreeを用いた効率的なインデクシングと動的文脈サイズ選択により、MBTは統計的手法と同等の高い正確性を達成し、高速な学習とタギング、少量の学習データ、インクリメンタルな更新、説明可能性を備えている。

ABSTRACT

We introduce a memory-based approach to part of speech tagging. Memory-based learning is a form of supervised learning based on similarity-based reasoning. The part of speech tag of a word in a particular context is extrapolated from the most similar cases held in memory. Supervised learning approaches are useful when a tagged corpus is available as an example of the desired output of the tagger. Based on such a corpus, the tagger-generator automatically builds a tagger which is able to tag new text the same way, diminishing development time for the construction of a tagger considerably. Memory-based tagging shares this advantage with other statistical or machine learning approaches. Additional advantages specific to a memory-based approach include (i) the relatively small tagged corpus size sufficient for training, (ii) incremental learning, (iii) explanation capabilities, (iv) flexible integration of information in case representations, (v) its non-parametric nature, (vi) reasonably good results on unknown words without morphological analysis, and (vii) fast learning and tagging. In this paper we show that a large-scale application of the memory-based approach is feasible: we obtain a tagging accuracy that is on a par with that of known statistical approaches, and with attractive space and time complexity properties when using {\em IGTree}, a tree-based formalism for indexing and searching huge case bases.} The use of IGTree has as additional advantage that optimal context size for disambiguation is dynamically computed.

研究の動機と目的

• ルールベースや統計的手法と比較して開発時間を短縮できるスケーラブルで正確かつ効率的な品詞タギングシステムの開発を目的とする。
• 従来のk近傍法が大規模なケースベースで計算的に非効率である問題を解決するため、圧縮されたインデクシング構造（IGTree）を導入する。
• 広範な特徴工学やスムージングを必要とせずに、インクリメンタル学習と意思決定の説明可能性を備えたタギングシステムを実現する。
• 解析的手法を用いずに、文脈的特徴と表面的形態的特徴を活用することで、未知語に対しても頑健な性能を発揮する。
• 記憶ベース学習が大規模NLP応用においてHMMやn-gramモデルの有効な代替手段であることを示す。

提案手法

• システムは、訓練例を特徴-値パターン（語、文脈、品詞）としてケースベースに格納し、それぞれを記号的特徴のベクトルとして表現する。
• タギングはk近傍法（k-nn）分類により実行される：文脈内の各語に対して、類似度が高いケースを類似度メトリックを用いてメモリから検索する。
• 類似度メトリックは、記号的オーバーラップ関数（δ(xi,yi) = 0 ならば xi=yi、それ以外は 1）を用いて特徴ベクトル間の距離を計算する。
• IGTreeは、木構造に基づくインデクシング形式であり、ケースベースを圧縮して効率的に探索可能にし、ケースベースのサイズに依存しない高速な検索を可能にする。
• トレーニング中にIGTree構造を分析することで、分類のための最適な文脈サイズを動的に決定する。
• 類似度計算中に複数の情報源（例：語形と文脈）を柔軟に統合できるように、特徴重み付けを適用する。

実験結果

リサーチクエスチョン

• RQ1 記憶ベースのアプローチは、HMM や n-gram タガーといった既存の統計的手法と同等のタギング正確性を達成できるか？
• RQ2 IGTreeインデクシングにより、大規模コーパスにおける記憶ベースタギングの計算的実行可能性が確保できるか？
• RQ3 形態素解析を必要とせずに、未知語に対しても頑健な性能を発揮できるか？
• RQ4 再トレーニングを伴わず、インクリメンタル学習と意思決定の説明が可能か？
• RQ5 非パrametric学習フレームワーク内で、分類のための最適な文脈サイズの自動選択が可能か？

主な発見

• MBTは、既知の統計的手法と同等のタギング正確性を達成しており、大規模品詞タギングにおける記憶ベース学習の実現可能性を示している。
• 300～400K語程度のタグ付き語数での学習でも良好な性能を発揮しており、少量の学習コーパスで効果的な学習が可能であることを示している。
• タギング速度は秒間約1000語に達しており、IGTreeベースのインデクシングにより、大規模なケースベースであっても高速な推論が可能であることを示している。
• 最近傍のケースとIGTreeパスを検索することで、意思決定を追跡可能な説明機能を提供している。
• WSJコーパスの90％以上が、形態素解析を一切行わず、文脈と語形の特徴のみを用いて正しくタギングされている。
• IGTree形式により、スムージングや収束の問題を回避した、自動的かつ非パrametricな分類推定が可能である。