[论文解读] MIREX: MapReduce Information Retrieval Experiments

Djoerd Hiemstra, Claudia Hauff|arXiv (Cornell University)|Apr 26, 2010

Information Retrieval and Search Behavior参考文献 9被引用 15

一句话总结

本文提出使用MapReduce来简化大规模信息检索实验，通过在集群上实现文档集合的顺序扫描，减少编码工作量并加速原型开发。在15台机器的集群上，系统在11小时内处理了5亿个网页，并在前5个结果中达到0.42的TREC级别精确率，当扩展到5,000个查询时，其查询吞吐量优于单节点Lemur系统。

ABSTRACT

We propose to use MapReduce to quickly test new retrieval approaches on a cluster of machines by sequentially scanning all documents. We present a small case study in which we use a cluster of 15 low cost ma- chines to search a web crawl of 0.5 billion pages showing that sequential scanning is a viable approach to running large-scale information retrieval experiments with little effort. The code is available to other researchers at: http://mirex.sourceforge.net

研究动机与目标

• 通过避免将新算法集成到Lemur或Terrier等单体搜索系统中，减少实现新检索算法的时间和复杂度。
• 使研究人员能够轻松实验新型排序函数，这些函数需要非索引文档特征，如锚文本或全文分析。
• 证明通过MapReduce进行的顺序扫描是实验性信息检索研究中一种可行、可扩展且高效的替代方案，可替代倒排索引检索。
• 提供一个开源、轻量级框架，用于在通用集群上快速原型化检索系统。

提出的方法

• 系统使用MapReduce流水线，其中mapper并行处理每个文档，使用自定义检索函数将其与所有查询进行评分。
• 对于每个文档，mapper输出（QueryID, (DocID, Score)）键值对，从而实现在整个文档集合上分布式的相关性评分计算。
• reducer通过维护一个大小为1000的最小堆，收集每个查询的前1000个结果，确保仅保留得分最高的文档。
• reducer还作为组合器使用，通过在洗牌前在本地过滤结果，限制节点间数据传输，减少网络开销。
• 该方法利用Hadoop原生的容错机制和负载均衡能力，使系统可在通用集群上运行，无需定制基础设施。
• 系统支持增量实验，允许轻松修改评分函数，而无需重新索引或进行复杂的系统集成。

实验结果

研究问题

• RQ1 基于MapReduce的大型文档集合顺序扫描，能否作为实验性信息检索研究中传统倒排索引检索系统的实用且高效替代方案？
• RQ2 与将新检索方法集成到Lemur或Terrier等现有系统相比，基于MapReduce实现新检索方法的开发和执行时间有何差异？
• RQ3 基于MapReduce的系统在查询负载增加时性能扩展程度如何？与单节点和分布式版本的成熟系统相比表现如何？
• RQ4 基于MapReduce的顺序扫描能否在标准TREC测试集合上实现具有竞争力的检索质量（如平均精确率）？

主要发现

• 基于MapReduce的系统在ClueWeb09数据集上，前5个结果的精确率达到0.42，与TREC 2009顶级结果相当。
• 在15台机器的集群上，对5亿个网页进行锚文本提取耗时11小时，生成400 GB的索引文本。
• 预处理后处理5,000个查询耗时不足30分钟，平均每个查询耗时1.6秒。
• 对于50个查询，系统比单节点Lemur系统慢3.6倍，但随着查询负载增加，由于缓存和并行化优势，性能逐渐超越Lemur。
• 完整系统的代码量仅为350行，远少于Lemur或Terrier等系统超过50万行的代码量，显著提升了开发效率。
• 系统性能随查询数量呈次线性扩展，得益于缓存和并行查询处理，使其在大规模批处理实验中极为高效。