[論文レビュー] Building a Lemmatizer and a Spell-checker for Sorani Kurdish

Shahin Salavati, Sina Ahmadi|arXiv (Cornell University)|Sep 27, 2018

Natural Language Processing Techniques参考文献 4被引用数 17

ひとこと要約

本稿では、Sorani Kurdisht用のlemmatizer（Peyv）とスプール・チェッカー（Rênûs）を提示する。これらは、語彙的規則とn-gram言語モデルを組み合わせたハイブリッドアプローチを用いて開発された、自然言語処理の基盤的ツールである。lemmatizerは86.7%の正確性を達成し、スプール・チェッカーは語彙を用いる場合に96.4%、用いない場合に87%の正確性を示し、低リソース言語としてのSorani Kurdishtにおける自然言語処理の前進を図った。

ABSTRACT

The present paper aims at presenting a lemmatization and a word-level error correction system for Sorani Kurdish. We propose a hybrid approach based on the morphological rules and a n-gram language model. We have called our lemmatization and error correction systems Peyv and Rênûs respectively, which are the first tools presented for Sorani Kurdish to the best of our knowledge. The Peyv lemmatizer has shown 86.7% accuracy. As for Rênûs, using a lexicon, we have obtained 96.4% accuracy while without a lexicon, the correction system has 87% accuracy. As two fundamental text processing tools, these tools can pave the way for further researches on more natural language processing applications for Sorani Kurdish.

研究の動機と目的

• Sorani Kurdisht—低リソースで語彙的構造が複雑な言語—に対して、最初の段語化およびスペルチェックツールを開発すること。
• Kurdish用の自然言語処理ツールの不足に応えるために、強固なルールベースと統計的ハイブリッドシステムを構築すること。
• 正確な語形正規化と誤字訂正を通じて、Sorani Kurdishtにおける下流の自然言語処理アプリケーションを改善すること。
• 語彙の使用とn-gram頻度フィルタリングがスペルチェック性能に与える影響を評価すること。

提案手法

• Sorani Kurdishtの語彙的規則と、Pewanコーパスから得た1,800万語のn-gram言語モデルを組み合わせたハイブリッドアプローチ。
• Peyvにおける段語化は、語形の屈折形・派生形を基本語形（lemma）に還元する語彙的規則を用いる。
• Rênûsにおけるスペルチェックは、頻度と文脈に基づいて補正候補をランク付けするn-gram言語モデルを用いる。
• 語彙的誤字の補正精度を向上させるために、タグ付き名詞・動詞の語彙が統合されている。
• パラメータαを用いて頻度と編集距離をバランスさせる重み付きスコア関数（式1）が採用されている。
• システム効率と正確性を向上させるために、低頻度n-gramがフィルタリングされている。

実験結果

リサーチクエスチョン

• RQ1 語彙的規則とn-gram言語モデルを組み合わせたハイブリッドシステムは、Sorani Kurdisht語の段語化に効果的に機能するか？
• RQ2 語彙の統合が、Sorani Kurdishtにおけるスペルチェックの正確性にどの程度向上効果をもたらすか？
• RQ3 n-gramの頻度フィルタリングは、スペルチェックシステムの性能にどのように影響するか？
• RQ4 重み付き補正スコア関数におけるパラメータαの最適値は何か？正確性を最大化するには？

主な発見

• Peyvの段語化ツールは86.7%の正確性を達成したが、主な誤り原因は語形の誤りによる語彙抽出の失敗であった。
• Rênûsのスプール・チェッカーは語彙を用いる場合に96.4%の正確性を示し、語彙知識の有意義な利点を示した。
• 語彙を用いない場合、4,5-gramモデルを用いても87%の正確性を達成し、純粋に統計的アプローチでも優れた性能を示した。
• 低頻度n-gramのフィルタリングによりシステムの正確性が向上し、語彙なしの状況で4,5-gramモデルが最も高い性能（87%）を示した。
• スコア関数におけるパラメータαは顕著な影響を及ぼし、特にα=100の設定では4,5-gram構成で85.4%の正確性を達成した。
• 本研究では、段語化の品質がスペルチェック性能に直接影響することを確認した。誤った段語化は誤った補正を引き起こす。