[論文レビュー] A Lightweight Stemmer for Gujarati

Juhi Ameta, Nisheeth Joshi+1 more|arXiv (Cornell University)|Oct 19, 2012

Natural Language Processing Techniques参考文献 11被引用数 16

ひとこと要約

この論文は、語彙的に豊富でリソースが乏しい言語であるグルジャラ語のための軽量でルールベースの語根還元処理装置を提示する。手作業で作成された語彙的ルールのセットを用いて屈曲語形を語幹に還元し、人間の専門家による検証で高い正確性を達成した。これにより、グルジャラ語における基盤的NLPタスクの実現が可能になる。

ABSTRACT

Gujarati is a resource poor language with almost no language processing tools being available. In this paper we have shown an implementation of a rule based stemmer of Gujarati. We have shown the creation of rules for stemming and the richness in morphology that Gujarati possesses. We have also evaluated our results by verifying it with a human expert.

研究の動機と目的

• グルジャラ語—語彙的に豊富でリソースが乏しい言語—における言語処理ツールの不足に対処すること。
• グルジャラ語の豊富な屈曲語彙的構造を効果的に処理できるルールベースの語根還元処理装置を設計・実装すること。
• 信頼性の高い評価のため、人間がアノテートしたゴールドスタンダードを用いて語根還元処理装置の性能を評価すること。
• リソース制約のあるNLPアプリケーションへの導入に適した軽量で効率的なソリューションを提供すること。
• 情報検索やテキスト分類などの将来的なグルジャラ語NLPシステムの基盤ツールとして機能すること。

提案手法

• 語根還元処理装置は、グルジャラ語の語の構造と接尾語パターンに基づいた手作業で設計された語彙的ルールのセットを適用する。
• ルールは一般的な屈曲接尾語（例：時制、格、態のマーク）を剥がすように設計され、語幹を導出する。
• システムは、過剰な語根還元を避けるために、より長い接尾語を優先する段階的ルール適用戦略を採用する。
• ルールセットはグルジャラ語語形の言語学的分析から導き出し、手作業による検証を経て確認された。
• 機械学習や大規模コーパスを一切使用せず、決定論的なパターンマッチングの方法で語根還元が行われる。
• 性能評価は、人間の専門家がアノテートしたゴールドスタンダードとの比較によって行われる。

実験結果

リサーチクエスチョン

• RQ1 語彙的に豊富でリソースが乏しい言語としてグルジャラ語のような言語に対して、どのように効果的なルールベースの語根還元処理装置を設計できるか？
• RQ2 どの語彙的ルールのセットが、グルジャラ語の屈曲語形を正確に語幹に還元できるか？
• RQ3 ルールベースの語根還元処理装置の性能は、人間がアノテートしたゴールドスタンダードと比べてどの程度か？
• RQ4 リソースが乏しく学習を必要としないアプローチが、グルジャラ語の実用的NLPアプリケーションで十分な正確性を達成できるか？
• RQ5 複雑な屈曲語彙的構造のため、グルジャラ語の語根還元処理において直面する主な課題は何か？

主な発見

• 人間がアノテートしたゴールドスタンダードと比較して、ルールベースの語根還元処理装置は高い正確性を達成した。
• システムは、時制、格、態のマークなどグルジャラ語に一般的な多くの屈曲接尾語を効果的に処理できた。
• 手作業による評価により、多数の語形が正しく語幹に還元されていることが確認された。
• アプローチは軽量で効率的であり、大規模な学習データや複雑なモデルを必要としなかった。
• 語根還元処理装置は、テキストインデキシングや分類などのグルジャラ語の下流NLPタスクの基盤として実用的である。
• 結果から、言語学的に裏付けられたルールベースの手法が、リソースが乏しい言語においても依然として有効であることが示された。