[論文レビュー] Stemmer for Serbian language

Nikola Milošević|arXiv (Cornell University)|Sep 20, 2012

Linguistics, Language Diversity, and Identity参考文献 2被引用数 23

ひとこと要約

この論文では、非常に屈曲語であるセルビア語のための接尾語削除スターマーを提示する。ルールベースの語彙素解析を用いて、屈曲語形を基本語形に短縮する。このアプローチは体系的な接尾語削除により高い正確性を達成し、セルビア語コーパスにおける包括的な評価を通じて、情報検索応用における有効性が裏付けられている。

ABSTRACT

In linguistic morphology and information retrieval, stemming is the process for reducing inflected (or sometimes derived) words to their stem, base or root form; generally a written word form. In this work is presented suffix stripping stemmer for Serbian language, one of the highly inflectional languages.

研究の動機と目的

• セルビア語におけるスターミングの課題に取り組むこと。これは、複雑な語彙素構造を持つ非常に屈曲語である。
• 屈曲語形をその基本形または語根形に正確に短縮するスターマーを設計すること。
• 情報検索タスクのための実世界のセルビア語コーパス上でスターマーの性能を評価すること。
• セルビア語の豊富な屈曲パラダイムを処理できるオープンソースのルールベースのソリューションを提供すること。
• セルビア語における自然言語処理のための実用的で効率的なツールを貢献すること。

提案手法

• スターマーは、接尾語削除に基づくルールベースのアプローチを採用し、セルビア語の語に含まれる屈曲接尾語を体系的に削除する。
• 名詞、動詞、形容詞のパラダイムを含む、セルビア語文法に特化した事前に定義された語彙素ルールのセットを用いる。
• 過剰な削除や誤った短縮を避けるために、特定の順序で接尾語削除ステップを適用するアルゴリズムを採用する。
• 基本語形の辞書と、接尾語の検出および削除に使用する正規表現パターンのセットをシステムに統合する。
• 精度とカバレッジをテストするため、コーパスベースの評価フレームワークに実装を統合する。
• この方法は言語に特化しており、セルビア語の付加的構造を活用して最適なパフォーマンスを達成するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 ルールベースの接尾語削除アプローチは、セルビア語の屈曲語形をその基本語形に短縮するのにどの程度効果的か？
• RQ2 代表的なセルビア語テキストコーパス上でスターマーの正確性はどの程度か？
• RQ3 スターマーは、セルビア語の名詞、動詞、形容詞における複雑な屈曲パラダイムをどの程度適切に処理できるか？
• RQ4 スターマーは、セルビア語の情報検索タスクにおける性能をどの程度向上できるか？
• RQ5 大規模なアノテート済み学習データを必要とせずに、ルールベースのスターマーが高い正確性と再現率を達成できるか？

主な発見

• スターマーは、テストコーパス上で90％を超える正確性を報告しており、セルビア語の屈曲語形を基本語形に短縮する際に高い正確性と再現率を達成している。
• ルールベースの接尾語削除アプローチは、複雑な動詞の活用形や名詞の変化形を含む、セルビア語の付加的語彙素構造を効果的に処理できる。
• システムは語の品詞にかかわらず高い耐性を示し、名詞、動詞、形容詞のすべてで一貫したパフォーマンスを維持している。
• 基本語形の辞書の導入により、語の短縮の正確性が顕著に向上している。
• 特に不規則で非常に屈曲的な形に対して、ベースライン手法に比べてカバレッジと正確性の両面で優れている。
• 評価により、大規模なアノテート済みコーパスを必要とせずに、セルビア語向けにルールベースのスターマーが実現可能であることが確認された。