[論文レビュー] Part of Speech Tagging in Thai Language Using Support Vector Machine

Masaki Murata, Qing Ma+1 more|ArXiv.org|Dec 5, 2001

Natural Language Processing Techniques参考文献 5被引用数 8

ひとこと要約

本稿では、語の文脈および順序的特徴を活用して精度を向上させる、タイ語の品詞タギングにサポートベクターマシン（SVM）を用いた手法を提案する。小規模な注釈付きタイ語コーパスを用いて、SVM手法は曖昧語に対して96.1%の正確度を達成し、ハイブリッドタッパー（95.5%）やエラスティック入力ニューラルネットワーク（94.4%）を上回った。これは、アグラティネート言語であるタイ語のような低リソース環境におけるSVMの有効性を示している。

ABSTRACT

The elastic-input neuro tagger and hybrid tagger, combined with a neural network and Brill's error-driven learning, have already been proposed for the purpose of constructing a practical tagger using as little training data as possible. When a small Thai corpus is used for training, these taggers have tagging accuracies of 94.4% and 95.5% (accounting only for the ambiguous words in terms of the part of speech), respectively. In this study, in order to construct more accurate taggers we developed new tagging methods using three machine learning methods: the decision-list, maximum entropy, and support vector machine methods. We then performed tagging experiments by using these methods. Our results showed that the support vector machine method has the best precision (96.1%), and that it is capable of improving the accuracy of tagging in the Thai language. Finally, we theoretically examined all these methods and discussed how the improvements were achived.

研究の動機と目的

• 限られた学習データを用いたタイ語品詞タギングの正確度を向上させること。
• 意思決定リスト、最大エントロピー、サポートベクターマシンの3つの機械学習手法を、タイ語品詞タギングにおいて評価・比較すること。
• タイ語品詞タギングにおいてあまり検討されていないSVMが、既存のハイブリッドモデルやニューラルネットワーク手法を上回ることを検証すること。
• 語レベルの文脈特徴がタギング性能に与える寄与を分析すること、特にPOS遷移確率のみに依存するモデルとの比較を通じて。
• Viterbi探索を用いた統合的な語区切りと品詞タギングフレームワークに統合可能なコンponentを提供すること。

提案手法

• システムは事前に区切られたタイ語コーパスを入力とし、各語をトークンとして扱い、関連する特徴を付与する。
• 特徴には現在の語、その直前および直後の語、およびそれらの品詞タグが含まれ、各語に対して文脈窓を形成する。
• サポートベクターマシン（SVM）モデルは、特徴を高次元空間に写像するカーネル関数を用いて、各語を正しい品詞タグに分類するように学習する。
• 意思決定リスト法は、特徴の条件付き確率 $ p(a|f_j) $ に基づいて特徴を順位付けし、最初に一致する特徴を選んでタグを割り当てる。
• 最大エントロピーモデルは、特徴統計から導かれる制約の下でエントロピーを最大化することで、最も確率の高いタグ分布を計算する。
• すべてのモデルは同一のタイ語コーパス上で学習・評価され、公平な比較を確保するため、性能評価は曖昧語に限定して行われる。

実験結果

リサーチクエスチョン

• RQ1 低リソースなタイ語NLP環境において、サポートベクターマシンは既存のハイブリッドモデルおよびニューラルネットワークモデルを上回る品詞タギング正確度を達成できるか？
• RQ2 語レベルの文脈特徴の組み込みが、タイ語品詞タギングにおける機械学習モデルの性能にどのように影響するか？
• RQ3 SVMは語の確率情報が少ないにもかかわらず、エラスティック入力ニューラルネットワークおよびハイブリッドタッパーを上回る理由は何か？
• RQ4 特徴表現およびモデルアーキテクチャが、タイ語品詞タギングにおける正確度向上にどの程度寄与しているか？
• RQ5 SVMベースの手法は、Viterbi方式の統合的区切りとタギングフレームワークに効果的に統合できるか？

主な発見

• サポートベクターマシン手法は、曖昧語に対して96.1%の最高正確度を達成し、ハイブリッドタッパー（95.5%）およびエラスティック入力ニューラルネットワーク（94.4%）を上回った。
• SVMモデルは最大エントロピーおよび意思決定リスト手法を上回り、それぞれ92.3%および78.0%の正確度を達成した。
• 語の情報が除去された場合でも、SVM手法は依然として93.9%の正確度を達成しており、直接的な語確率特徴がなくても高い性能を示している。
• SVMの優れた性能は、HMMやエラスティックNNがPOS遷移確率にのみ依存するのに対し、SVMが語の文脈および順序的特徴を効果的に活用していることに起因する。
• 結果から、SVMは大規模コーパスが入手困難なアグラティネート言語であるタイ語の低リソース品詞タギングに特に適していることが示唆される。
• 今後の課題として、エラスティックニューラルネットワークモデルに語レベルの特徴を統合することで、SVMとの性能差を埋めることを検討すべきである。