[論文レビュー] A Nepali Rule Based Stemmer and its performance on different NLP applications

Pravesh Koirala, Aman Shakya|arXiv (Cornell University)|Feb 23, 2020

Natural Language Processing Techniques参考文献 1被引用数 9

ひとこと要約

この論文は、語彙正規化、例外語の取り扱い、語の変換を用いて、2種類の接尾語と1つの否定接頭語（Na）を剥がす規則ベースのネパール語ステマーを提示する。tf-idfベースの情報検索とナイーブベイズトピック分類の内在的（Paiceの手法）および外在的テストにより評価された結果、ステマーは性能を顕著に向上させ、ネパール語自然言語処理応用分野における有効性を示した。

ABSTRACT

Stemming is an integral part of Natural Language Processing (NLP). It's a preprocessing step in almost every NLP application. Arguably, the most important usage of stemming is in Information Retrieval (IR). While there are lots of work done on stemming in languages like English, Nepali stemming has only a few works. This study focuses on creating a Rule Based stemmer for Nepali text. Specifically, it is an affix stripping system that identifies two different class of suffixes in Nepali grammar and strips them separately. Only a single negativity prefix (Na) is identified and stripped. This study focuses on a number of techniques like exception word identification, morphological normalization and word transformation to increase stemming performance. The stemmer is tested intrinsically using Paice's method and extrinsically on a basic tf-idf based IR system and an elementary news topic classifier using Multinomial Naive Bayes Classifier. The difference in performance of these systems with and without using the stemmer is analysed.

研究の動機と目的

• ネパール語向けにカスタマイズされた規則ベースのステマーを開発すること。ネパール語はリソースが限られている低リソース言語であり、これまでのステーマー研究は限定的である。
• 接尾語の剥がし方と語彙正規化に焦点を当て、ネパール語NLPのための効果的な前処理ツールの欠如に対処すること。
• 例外語の特定と語の変換技術を用いて、ステーミングの正確性を向上させること。
• ステマーが情報検索やテキスト分類といった実世界のNLPタスクに与える影響を評価すること。
• ステマーが複数のNLP応用分野でシステム性能を向上させる実用的価値を示すこと。

提案手法

• ステマーは、ネパール語文法における2つの異なる種類の接尾語を標的とする接尾語剥がし機構を採用している。
• 語に単一の否定接頭語「Na」が付いているかを特定し、それを剥がして語彙的整合性を向上させている。
• 例外語は手動で収集され、別個に処理されており、過剰な剥がしを防ぎ、語彙的整合性を保持している。
• 語彙正規化が適用され、ステーミングの前に語の形を標準化することで一貫性を向上させている。
• 語の変換ルールが、ネパール語語彙における不規則または非標準的な活用を処理するために用いられている。
• システムはPaiceの内在的評価手法と、tf-idfベースの情報検索システムおよび多項式ナイーブベイズトピック分類器を用いた外在的評価によって評価された。

実験結果

リサーチクエスチョン

• RQ1 提案された規則ベースのステマーは、ネパール語語形をその語根にまで効果的に短縮できるか？
• RQ2 tf-idfを用いた情報検索システムにおいて、ステマーはどの程度性能を向上させるか？
• RQ3 多項式ナイーブベイズを用いたテキスト分類システムにおいて、ステマーは分類精度を向上させられるか？
• RQ4 語彙正規化と例外語の取り扱いは、全体のステーミング品質にどの程度寄与しているか？
• RQ5 内在的評価と外在的評価の比較的影響は、ステマー性能評価にどのように現れるか？

主な発見

• Paiceの手法を用いた内在的評価において、ステマーは高い精度を達成しており、優れた基本的性能を示している。
• tf-idfベースの情報検索システムにおいて、ステマーの使用により検索精度が明確に向上した。
• 多項式ナイーブベイズトピック分類器は、ステミング済みテキストを学習データとして用いた場合、未ステミング入力に比べて分類精度が向上した。
• 例外語の取り扱いと語彙正規化は、不規則語形に起因する誤りを顕著に低減した。
• ステマーは内在的および外在的評価の両設定において一貫した性能を示し、実用的価値が裏付けられた。
• 本研究は、複雑な屈曲語彙構造とNLPリソースが限られる言語としてのネパール語においても、規則ベースのステーミングが有効であることを確認した。