[論文レビュー] An Accurate Arabic Root-Based Lemmatizer for Information Retrieval Purposes

Tarek El‐Shishtawy, Fatma El-Ghannam|arXiv (Cornell University)|Mar 15, 2012

Advanced Text Analysis Techniques参考文献 20被引用数 24

ひとこと要約

この論文は、情報検索における正確性を向上させるために言語学的知識リソースを活用する非統計的でルートベースのアラビア語lemmatizerを提示する。文書の品詞タギングで94.8%の正確性を達成し、未知語彙（OOV）ドキュメントでは89.15%のlemmatizer正確性を示す。これはスタンフォードモデルを12.45ポイント上回る。

ABSTRACT

In spite of its robust syntax, semantic cohesion, and less ambiguity, lemma level analysis and generation does not yet focused in Arabic NLP literatures. In the current research, we propose the first non-statistical accurate Arabic lemmatizer algorithm that is suitable for information retrieval (IR) systems. The proposed lemmatizer makes use of different Arabic language knowledge resources to generate accurate lemma form and its relevant features that support IR purposes. As a POS tagger, the experimental results show that, the proposed algorithm achieves a maximum accuracy of 94.8%. For first seen documents, an accuracy of 89.15% is achieved, compared to 76.7% of up to date Stanford accurate Arabic model, for the same, dataset.

研究の動機と目的

• アラビア語自然言語処理におけるlemmatizerレベルの分析の不足に対処すること。
• 情報検索システムに特化した非統計的で高精度なlemmatizerを開発すること。
• 安定したlemmatizer生成と特徴抽出を実現するため、アラビア語言語学的知識リソースを統合すること。
• アラビア語IRにおける大きな課題である未知語彙（OOV）ドキュメントでの性能向上を図ること。
• 特に未知のテストデータに対して、既存の最先端モデルを上回ること。

提案手法

• lemmatizerは、アラビア語のルート形態論と語構造に基づいたルールベースのアプローチを採用している。
• 語彙的形態リソースとして、ルート辞書や語形パターンテンプレートを活用し、変形形を基本形lemmataにマッピングする。
• lemmatizer割り当てを支援するため、品詞（POS）タギングを前処理ステップとして組み込んでいる。
• 同音異義語の解消と曖昧な形態の解消のために、句法学的および語源的ルールを適用している。
• 正しいlemmataを決定するために、語長、接尾語、ルートパターンに基づく階層的意思決定プロセスを採用している。
• 動詞の時態、名詞の格、性別の特徴を抽出し、情報検索タスクを支援している。

実験結果

リサーチクエスチョン

• RQ1 非統計的でルールベースのlemmatizerは、統計モデルに比べてアラビア語lemmatizer生成においてより高い正確性を達成できるか？
• RQ2 このシステムは、情報検索で一般的な未知語彙（OOV）ドキュメントでどの程度の性能を示すか？
• RQ3 言語学的知識リソースを統合することで、lemmatizer正確性はどの程度向上するか？
• RQ4 ルートベースのlemmatizationは、アラビア語語形の曖昧性を効果的に低減できるか？
• RQ5 提案されたlemmatizerは、スタンフォードのアラビア語NLPシステムのような最先端モデルと比べてどの程度優れているか？

主な発見

• lemmatizerは品詞タギングで最大94.8%の正確性を達成した。
• 未知語彙（OOV）ドキュメントでは、89.15%のlemmatizer正確性を達成し、スタンフォードモデルの76.7%を顕著に上回った。
• ルールベースのアプローチは、統計モデルに比べて未知データにおける一般化性能に優れていることが示された。
• ルート辞書や語形パターンといった言語学的リソースの統合により、正確性と耐障害性が向上した。
• 形態論的および句法学的ルールを通じて、アラビア語語形の曖昧性が効果的に低減された。
• 結果から、非統計的で知識駆動型のlemmatizationが、アラビア語IRアプリケーションにおいて実用的で効果的であることが確認された。