[论文解读] Effects of Stop Words Elimination for Arabic Information Retrieval: A Comparative Study

Ibrahim Abu El‐Khair|arXiv (Cornell University)|Jan 1, 2006

Information Retrieval and Search Behavior参考文献 11被引用 96

一句话总结

本研究评估了三种阿拉伯语停用词列表——通用列表、基于语料的列表和合并列表——与三种加权方案（IDF、概率模型和语言模型）的组合效果，采用 LEMUR 工具包和 LDC 阿拉伯语新闻数据集进行实验。使用通用停用词列表配合 BM25 加权方案的检索性能最佳，优于基于语料的列表和合并列表，表明语言学预处理可提升阿拉伯语文档的统计信息检索模型性能。

ABSTRACT

The effectiveness of three stop words lists for Arabic Information Retrieval---General Stoplist, Corpus- Based Stoplist, Combined Stoplist ---were investigated in this study. Three popular weighting schemes were examined: the inverse document frequency weight, probabilistic weighting, and statistical language modelling. The Idea is to combine the statistical approaches with linguistic approaches to reach an optimal performance, and compare their effect on retrieval. The LDC (Linguistic Data Consortium) Arabic Newswire data set was used with the Lemur Toolkit. The Best Match weighting scheme used in the Okapi retrieval system had the best overall performance of the three weighting algorithms used in the study, stoplists improved retrieval effectiveness especially when used with the BM25 weight. The overall performance of a general stoplist was better than the other two lists.

研究动机与目标

• 评估停用词去除对阿拉伯语文档信息检索性能的影响。
• 比较三种停用词列表（通用、基于语料、合并）的有效性。
• 评估三种加权方案（逆文档频率、概率模型、统计语言模型）的性能。
• 确定阿拉伯语文档信息检索中语言学预处理与统计加权方案的最佳组合。
• 使用标准评估指标在真实阿拉伯语文本语料上测量检索有效性。

提出的方法

• 构建了三种停用词列表：基于常见阿拉伯语功能词的通用列表，从 LDC 阿拉伯语新闻数据集中提取的基于语料的列表，以及将两者合并的综合列表。
• 应用了三种加权方案：逆文档频率（IDF）、概率加权和统计语言模型。
• 将 Okapi BM25 加权方案作为基线用于比较。
• 使用 LEMUR 工具包对 LDC 阿拉伯语新闻数据集进行索引和文档检索。
• 采用标准信息检索评估指标（包括精确率、召回率和平均平均精度（MAP））测量检索有效性。
• 通过实验比较不同停用词列表类型与加权方案的性能，以识别最优配置。

实验结果

研究问题

• RQ1 停用词去除如何影响阿拉伯语文档信息检索的有效性？
• RQ2 在通用、基于语料和合并三种停用词列表中，哪一种能带来最佳的检索性能？
• RQ3 在与停用词列表结合时，不同加权方案（IDF、概率模型、语言模型）的性能如何比较？
• RQ4 当与停用词过滤结合时，BM25 加权方案是否优于其他加权方案？
• RQ5 在阿拉伯语文档中，将语言学预处理与统计信息检索模型结合是否能带来显著的性能提升？

主要发现

• BM25 加权方案在所测试的三种加权算法中取得了最佳的整体检索性能。
• 停用词列表提升了检索有效性，尤其是在与 BM25 加权方案结合使用时效果更显著。
• 通用停用词列表在检索有效性方面优于基于语料和合并的停用词列表。
• BM25 与通用停用词列表的组合带来了最高的平均平均精度（MAP）得分。
• 基于语料的停用词列表并未显著优于通用停用词列表，表明为特定语料定制停用词的收益有限。
• 本研究证实，将语言学预处理（如停用词去除）与统计信息检索模型结合，可有效提升阿拉伯语文档的信息检索性能。