[論文レビュー] Effects of Stop Words Elimination for Arabic Information Retrieval: A Comparative Study

Ibrahim Abu El‐Khair|arXiv (Cornell University)|Jan 1, 2006

Information Retrieval and Search Behavior参考文献 11被引用数 96

ひとこと要約

本研究では、LEMURツールキットとLDCアラビア語ニューズワイヤデータを用いて、一般、コーパスベース、および組み合わせの3種類のアラビア語ストップワードリストと、IDF、確率的、言語モデル化の3種類の重み付け方式を組み合わせて評価した。BM25重み付け方式と一般ストップワードリストの組み合わせが、コーパスベースおよび組み合わせリストを上回る優れた検索性能を示し、アラビア語における言語的前処理が統計的情報検索モデルの性能を向上させることを示した。

ABSTRACT

The effectiveness of three stop words lists for Arabic Information Retrieval---General Stoplist, Corpus- Based Stoplist, Combined Stoplist ---were investigated in this study. Three popular weighting schemes were examined: the inverse document frequency weight, probabilistic weighting, and statistical language modelling. The Idea is to combine the statistical approaches with linguistic approaches to reach an optimal performance, and compare their effect on retrieval. The LDC (Linguistic Data Consortium) Arabic Newswire data set was used with the Lemur Toolkit. The Best Match weighting scheme used in the Okapi retrieval system had the best overall performance of the three weighting algorithms used in the study, stoplists improved retrieval effectiveness especially when used with the BM25 weight. The overall performance of a general stoplist was better than the other two lists.

研究の動機と目的

• ストップワードの除去がアラビア語情報検索性能に与える影響を評価すること。
• 一般、コーパスベース、および組み合わせの3種類のストップワードリストの有効性を比較すること。
• 逆文書頻度、確率的、統計的言語モデル化の3種類の重み付け方式を評価すること。
• アラビア語情報検索における言語的前処理と統計的重み付けの最適な組み合わせを特定すること。
• 実世界のアラビア語コーパスを用いて、標準的な評価指標を用いて検索効果を測定すること。

提案手法

• 3種類のストップワードリストを構築した：一般的なアラビア語機能語に基づく一般リスト、LDCアラビア語ニューズワイヤデータから導出されたコーパスベースリスト、両者を統合した組み合わせリスト。
• 3種類の重み付け方式を適用した：逆文書頻度（IDF）、確率的重み付け、統計的言語モデル化。
• 比較のためのベースラインとして、Okapi BM25重み付け方式を実装した。
• LEMURツールキットを用いて、LDCアラビア語ニューズワイヤデータセットからドキュメントをインデックス化し、検索を実行した。
• 標準的な情報検索評価指標（精度、再現率、平均平均精度（MAP））を用いて検索効果を測定した。
• ストップリストの種別と重み付け方式の組み合わせによる性能比較を通じて、最適な設定を同定した。

実験結果

リサーチクエスチョン

• RQ1 ストップワードの除去は、アラビア語情報検索の効果にどのように影響するか？
• RQ2 一般、コーパスベース、組み合わせのうち、どのストップワードリストが最も高い検索性能を達成するか？
• RQ3 IDF、確率的、言語モデル化の異なる重み付け方式は、ストップワードリストと組み合わせてどのように比較されるか？
• RQ4 ストップワードフィルタリングと組み合わせた場合、BM25重み付け方式は他の重み付け方式を上回るか？
• RQ5 アラビア語において、言語的前処理と統計的情報検索モデルを組み合わせることで、顕著な性能向上が得られるか？

主な発見

• テストされた3種類の重み付けアルゴリズムの中で、BM25重み付け方式が最も優れた全体的な検索性能を達成した。
• ストップワードリストの使用は検索効果を向上させたが、特にBM25重み付け方式と組み合わせた場合に顕著であった。
• 一般ストップワードリストは、コーパスベースおよび組み合わせストップワードリストを上回る検索効果を示した。
• BM25と一般ストップワードリストの組み合わせが、最高の平均平均精度（MAP）スコアを達成した。
• コーパスベースストップワードリストは、一般ストップワードリストを上回る性能向上を示さなかったため、コーパスごとにストップワードをカスタマイズしても限定的な利点にとどまることが示唆された。
• 本研究は、言語的前処理（ストップワード除去）を統計的情報検索モデルと統合することで、アラビア語情報検索の性能が向上することを確認した。