[論文レビュー] Feature-Rich Part-of-speech Tagging for Morphologically Complex Languages: Application to Bulgarian

Georgi Georgiev, Valentin Zhikov+3 more|arXiv (Cornell University)|Nov 26, 2019

Natural Language Processing Techniques参考文献 33被引用数 24

ひとこと要約

この論文は、ボスニア語のような屈曲的で複雑なスラブ語のための、680種類の語彙的・構文的タグを含む包括的な語彙的・構文的タグセット（BulTreeBankに由来）を用いた、特徴豊富な品詞タギングシステムを提示する。大規模な語彙的語彙、言語学的知識、および品詞付与済みコーパスからのガイド付き学習を組み合わせることで、97.98%の正確性を達成し、ボスニア語における先行する最先端のシステムを著しく上回り、英語の最高水準の品詞タガッターと同等の性能を示した。

ABSTRACT

We present experiments with part-of-speech tagging for Bulgarian, a Slavic language with rich inflectional and derivational morphology. Unlike most previous work, which has used a small number of grammatical categories, we work with 680 morpho-syntactic tags. We combine a large morphological lexicon with prior linguistic knowledge and guided learning from a POS-annotated corpus, achieving accuracy of 97.98%, which is a significant improvement over the state-of-the-art for Bulgarian.

研究の動機と目的

• 語彙的・構文的タグが細分化された言語、たとえばボスニア語における品詞タギングの課題に対処すること。
• 実用性を高めるためにタグセットのサイズを縮小していた従来のシステムを超える正確性を実現すること。
• 語彙的・構文的詳細を保持しつつ、言語学的知識と統計的学習を統合すること。
• 品詞タギングの誤りが、語彙化や依存構文解析などの下流NLPタスクに与える影響を評価すること。
• リソースが限られた状況下でも、豊富なタグセットを性能を落とさずに使用可能かどうかを検討すること。

提案手法

• システムは、BulTreeBankに由来する680種類の語彙的・構文的タグを含む大規模な語彙的語彙を用い、時態、他他動性、格、数、性といった詳細な文法的特徴を捉える。
• 事前に得られた言語学的知識は、関数的ルールとしてエンコードされ、品詞タグが正しければ正確な語彙化を可能にする。
• ガイド付き学習がコアな学習フレームワークとして採用され、トークン分類と推論順序の両方を同時に最適化する双方向推論を可能にする。
• パーセプトロンに類似した受動的攻撃的分類器を用いて、容易な意思決定を優先することで、全体のタギング正確性を向上させる。
• 特徴量は語彙的語彙から得られ、品詞付与済みコーパスからの文脈的情報で強化され、頑健な予測を支援する。
• タグの分解は、アラビア語、韓国語、チェコ語の因子化タギングモデルの先行研究に触発され、今後の方向性として検討される。

実験結果

リサーチクエスチョン

• RQ1 680タグの包括的語彙的・構文的タグセットを、ボスニア語の品詞タギングに効果的に使用できるか、性能の低下が生じないか？
• RQ2 語彙的・構文的タグが細分化された言語において、従来の左から右への逐次モデルと比較して、ガイド付き学習は正確性をどの程度向上させるか？
• RQ3 品詞タギングの誤りは、語彙化や依存構文解析などの下流NLPタスクにどのように影響を与えるか？
• RQ4 語彙化に問題のない誤りの割合はどれくらいで、どのような条件下で無害となるか？
• RQ5 言語学的ルールと統計的学習の組み合わせにより、リソースが限られた状況下でも、豊富なタグセットで最先端の正確性を達成できるか？

主な発見

• 提案されたシステムは、ボスニア語においてトークンレベルで97.98%の正確性を達成し、言語分野における先行する最先端のシステムを著しく上回った。
• 711件のタギング誤りのうち206件（約29%）は、語彙化の正確性に影響を及ぼさない。これは、誤りが語彙固有の特徴（たとえば時態、他他動性）ではなく、単に誤った文法的特徴に限定されているためである。
• 誤りの約27%（711件中190件）は、依存構文解析に対して問題にならない。特に動詞の時制や時態に関する誤りは、構文的構造においてあまり重要ではないためである。
• このシステムは、非常に細分化されたタグセットであっても高い正確性が達成可能であることを示しており、ボスニア語の語彙的複雑性を考慮しても、英語の最高水準の報告結果と同等の性能を達成した。
• 省略語や数字表記のトークンタイプは、語彙的手がかりが限られるため、継続的な課題となっており、頻繁に誤分類が生じる。
• 誤りの伝搬がタグセットの構造のおかげで部分的に緩和されていることが示唆されており、語彙に依存しない特徴（たとえば時態、格）は、部分的なタギング誤りに対しても頑健である。