[論文レビュー] Build Fast and Accurate Lemmatization for Arabic

Hamdy Mubarak|arXiv (Cornell University)|Oct 18, 2017

Advanced Text Analysis Techniques参考文献 4被引用数 11

ひとこと要約

本稿では、アラビア語の豊富な派生語彙的構造を考慮し、単語の最も頻出する発音記号付き形を用いて形態解析と照合することで、97.32%の正確性を達成する高速で正確な語彙還元システムを提示する。これはMADAMIRAより7%高い精度であり、740万語を2分未満で処理可能で、75倍速い。著者らは新たな公開テストデータセットを公開し、再現性を確保するためのオープンソースJavaコードを提供する。

ABSTRACT

In this paper we describe the complexity of building a lemmatizer for Arabic which has a rich and complex derivational morphology, and we discuss the need for a fast and accurate lammatization to enhance Arabic Information Retrieval (IR) results. We also introduce a new data set that can be used to test lemmatization accuracy, and an efficient lemmatization algorithm that outperforms state-of-the-art Arabic lemmatization in terms of accuracy and speed. We share the data set and the code for public.

研究の動機と目的

• アラビア語は派生語彙的構造が豊富であるが、そのような言語に対して、オープンソースで高精度な語彙還元ツールが不足しているという問題に取り組む。
• 正確な語彙レベルのインデックス化を可能にすることで、情報検索（IR）における再現率と正確率を向上させる。
• 最新のツールを上回る速度と正確性を兼ね備えた語彙還元システムを開発する。
• 再現可能なアラビア語NLP研究を促進するため、公開可能な高品質なテストデータセットとオープンソースコードを提供する。

提案手法

• システムはコーパスから各単語の最も頻出する発音記号付き形を選択し、類似度スコアが最も高い形態解析と照合する。
• 各単語について、Buckwalter形態解析器を用いて、すべての可能な発音記号付き形、区切り方、品詞タグ、語彙形を生成する。
• コーパスとBuckwalterの間で発音記号付き形に曖昧さがある場合、形を一致させ、頻度と使用頻度に基づいて語彙形の順序を調整することで解消する。
• 文脈を無視して最も一般的な発音記号付き形を優先することで、複雑さを低減し、処理速度を向上させる。
• 同一の発音記号付き形だが異なる語彙形を持つ単語（例：'syArp' が 'car' または 'walker' として解釈される場合）に対しては、頻度に基づく曖昧性解消処理を適用する。
• 実装は外部依存関係のない純粋なJavaシステムであり、他のNLPパイプラインへの容易な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 MADAMIRAなどの最新のツールよりも高い正確性を達成できる語彙還元システムは構築可能か？
• RQ2 高い正確性を維持しながら、現在のシステムよりも著しく高速な語彙還元システムは可能か？
• RQ3 文脈を無視して、単語の最も頻出する発音記号付き形を語彙選定の代理として使用することは可能か？また、このアプローチの正確性はどの程度か？
• RQ4 新たに公開されたテストデータセットは、アラビア語語彙還元研究における再現性とベンチマーク評価を改善できるか？

主な発見

• 提案された語彙還元システムは、新たに作成されたWikiNewsテストセットにおいて97.32%の正確性を達成し、MADAMIRAの96.61%と比較して相対的に7%の向上を示した。
• システムは約2分で740万語を処理可能であり、MADAMIRAが同様のタスクに2.5時間かかるのに対し、75倍速い。
• システムの性能は、同じ綴りを持つ名詞や形容詞の発音記号付き形の曖昧性に起因する制限を受けており、例として'AkAdymyp' が 'academy' または 'academic' として解釈される場合がある。
• 著者らは、品詞タグ付けの誤りや外国語名の表記バリエーションが、本システムおよびMADAMIRAの両方で一般的な誤り要因であると特定した。
• 7ジャンルにわたる70編のアラビア語ニュース記事からなる1万8300語のデータセットが公開され、アラビア語語彙還元システムの標準化された評価が可能になった。
• 外部依存関係のないオープンソースJavaコードが公開されており、既存のNLPおよびIRパイプラインへの統合を容易にしている。