[论文解读] BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models

Nandan Thakur, Nils Reimers+3 more|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling被引用 100

一句话总结

BEIR 提供了一个异质的零-shot 信息检索基准，涵盖 18 个数据集、9 个任务，用于评估 10 个检索系统，结果没有单一赢家，并突出了泛化能力与效率权衡。

ABSTRACT

Existing neural information retrieval (IR) models have often been studied in homogeneous and narrow settings, which has considerably limited insights into their out-of-distribution (OOD) generalization capabilities. To address this, and to facilitate researchers to broadly evaluate the effectiveness of their models, we introduce Benchmarking-IR (BEIR), a robust and heterogeneous evaluation benchmark for information retrieval. We leverage a careful selection of 18 publicly available datasets from diverse text retrieval tasks and domains and evaluate 10 state-of-the-art retrieval systems including lexical, sparse, dense, late-interaction and re-ranking architectures on the BEIR benchmark. Our results show BM25 is a robust baseline and re-ranking and late-interaction-based models on average achieve the best zero-shot performances, however, at high computational costs. In contrast, dense and sparse-retrieval models are computationally more efficient but often underperform other approaches, highlighting the considerable room for improvement in their generalization capabilities. We hope this framework allows us to better evaluate and understand existing retrieval systems, and contributes to accelerating progress towards better robust and generalizable systems in the future. BEIR is publicly available at https://github.com/UKPLab/beir.

研究动机与目标

• 推动对信息检索模型在多领域、多任务中超出领域内测试的稳健评估。
• 提供一个统一的零-shot 基准，用以研究词汇、稀疏、密集、晚交互和再排序模型的跨领域泛化。
• 通过在各任务中标准化数据格式与评估指标，实现公平比较。
• 提供关于哪些架构泛化最好以及相应的计算成本的见解。

提出的方法

• 从涵盖多样领域和数据特征的 9 个检索任务中选择 18 个英文零-shot 数据集。
• 在五种体系结构：词汇型、稀疏型、密集型、晚期交互和再排序，评估 10 个前沿检索系统。
• 使用标准数据格式（语料、查询、qrels）和 nDCG@10 作为主要评估指标。
• 基准实现与流行的 IR 工具包集成（Anserini、BM25、ColBERT、DPR、ANCE、TAS-B、GenQ 等）。
• 分析领域内与零-shot 的性能、效率（延迟与索引大小）以及注释偏差的影响。

实验结果

研究问题

• RQ1 多任务、多领域的分布外数据集上，不同 IR 模型的泛化能力有多强？
• RQ2 哪些架构（词汇、稀疏、密集、晚交互、再排序）在 BEIR 数据集上提供最强的零-shot 性能？
• RQ3 领域内性能与跨领域泛化之间的关系是什么，以及效率方面的权衡如何与准确性相互影响？

主要发现

• BM25 在 BEIR 数据集上仍然是一个强有力的零-shot 基线。
• 再排序与晚交互模型通常获得最佳的零-shot 性能，但代价高、延迟和内存成本较高。
• 密集与稀疏检索模型速度更快，但在许多数据集上常常不及 BM25。
• 跨注意力再排序（BM25+CE）与 ColBERT 通常在分布外泛化方面优于基础密集模型。
• 领域自适应与训练损失会影响零-shot 泛化，TAS-B 与 GenQ 在某些领域表现出色。
• 注释偏差会影响评估，词汇偏置提高词汇方法的命中数，低估非词汇方法；修补 TREC-COVID 的缺口可提升密集模型分数。