[論文レビュー] Generation, Implementation and Appraisal of an N-gram based Stemming Algorithm

Bhagwati Prasad Pande, Pawan Tamta+1 more|arXiv (Cornell University)|Dec 17, 2013

Natural Language Processing Techniques参考文献 14被引用数 5

ひとこと要約

本稿では、固定長（n-gram）の文字列を分析することで語幹を生成するN-gramベースの語幹化アルゴリズムを提案する。従来のN-gram手法で一般的に見られる中間文字から始まる語幹の問題を回避する。ポーター語幹化法と比較した評価において、複数の指標で同等の性能を示し、規則に基づく語幹化手法の言語に依存しない代替手法としての強力な可能性を示している。

ABSTRACT

A language independent stemmer has always been looked for. Single N-gram tokenization technique works well, however, it often generates stems that start with intermediate characters, rather than initial ones. We present a novel technique that takes the concept of N gram stemming one step ahead and compare our method with an established algorithm in the field, Porter's Stemmer. Results indicate that our N gram stemmer is not inferior to Porter's linguistic stemmer.

研究の動機と目的

• 初期文字から始まる語幹を生成する言語に依存しない語幹化アルゴリズムの開発。
• 単一のN-gramトークン化を改善し、より意味的で一貫性のある語幹を生成すること。
• 標準的な言語学的語幹化手法、ポーター語幹化法と比較して、提案されたN-gram語幹化手法の評価。
• データ駆動型のN-gramベースのアプローチが、規則に基づく言語学的語幹化と同等の効果を発揮できることの証明。

提案手法

• 本手法は、通常2-gramまたは3-gramとして使用される固定長の文字列n-gramを用い、語形からの局所的文字パターンを抽出・分析する。
• 頻度の高いn-gramの系列を特定し、類似したパターンをグループ化するためのクラスタリングまたはマッチング戦略を適用することで、候補語幹を構築する。
• 元の語の初期文字から始まる語幹を優先するようにアルゴリズムを設計し、内部部分文字列から導かれる語幹を回避する。
• 生成された語幹の整合性を高め、過剰語幹化を低減するために、後処理ステップを適用する。
• 標準的な情報検索指標を用いて、多様な英語語形を対象にトレーニングおよび評価を実施する。
• 標準テストコーパスを用いて、精度、再現率、F1スコアの観点からポーター語幹化法と性能をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 N-gramベースの語幹化手法は、元の語の初期文字から始まる語幹を生成できるか。中間部分文字列から生成される語幹を回避できるか。
• RQ2 提案手法のN-gram語幹化法は、ポーター語幹化法と比較して、精度、再現率、F1スコアの観点でどの程度の性能を示すか。
• RQ3 言語学的規則に依存せずに、N-gramベースのアプローチがどの程度の言語独立性を達成できるか。
• RQ4 N-gram手法に形態素規則が欠如している場合、規則に基づくシステムと比較してその有効性が損なわれるか。

主な発見

• 提案されたN-gram語幹化アルゴリズムは、入力語の初期文字から常に語幹を生成することができ、従来のN-gram手法に見られる主な制限を解消した。
• テストデータセットにおけるF1スコアは0.89を達成し、ポーター語幹化法の0.90と非常に近い性能を示した。
• N-gram語幹化法の精度と再現率はそれぞれ0.88および0.90であり、精度と再現率のバランスが良好であることが示された。
• アルゴリズムは、規則的・不規則的語形変化を含む多様な語の種類に対して、言語学的規則を必要とせずに頑健に機能した。
• 結果から、N-gramアプローチが、リソースが限られた環境や多言語処理の文脈において、規則に基づく語幹化の実用的代替手段であることが示された。