[論文レビュー] BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models

Nandan Thakur, Nils Reimers+3 more|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling被引用数 100

ひとこと要約

BEIRは18データセット、9タスクの異種のゼロショットIRベンチマークを提示し、10の検索システムを評価。単一の胜者はなく、一般化と効率のトレードオフを浮き彫りにする。

ABSTRACT

Existing neural information retrieval (IR) models have often been studied in homogeneous and narrow settings, which has considerably limited insights into their out-of-distribution (OOD) generalization capabilities. To address this, and to facilitate researchers to broadly evaluate the effectiveness of their models, we introduce Benchmarking-IR (BEIR), a robust and heterogeneous evaluation benchmark for information retrieval. We leverage a careful selection of 18 publicly available datasets from diverse text retrieval tasks and domains and evaluate 10 state-of-the-art retrieval systems including lexical, sparse, dense, late-interaction and re-ranking architectures on the BEIR benchmark. Our results show BM25 is a robust baseline and re-ranking and late-interaction-based models on average achieve the best zero-shot performances, however, at high computational costs. In contrast, dense and sparse-retrieval models are computationally more efficient but often underperform other approaches, highlighting the considerable room for improvement in their generalization capabilities. We hope this framework allows us to better evaluate and understand existing retrieval systems, and contributes to accelerating progress towards better robust and generalizable systems in the future. BEIR is publicly available at https://github.com/UKPLab/beir.

研究の動機と目的

• IRモデルをイン-domainテストを超えて多様なドメインとタスクで堅牢に評価するモチベーション。
• 語彙型、疎結合、密結合、遅相互作用、再ランキングモデルの横断的一般化を研究する統一されたゼロショットベンチマークを提供する。
• タスク間でデータ形式と評価指標を標準化して公平な比較を可能にする。
• どのアーキテクチャが最も一般化するか、そして計算コストはどの程度かといった洞察を提供する。

提案手法

• 9つの検索タスクから18の英語ゼロショットデータセットを選択し、多様なドメインとデータ特性を横断する。
• 最先端の検索システム10件を、語彙型、疎結合、密結合、遅相互作用、再ランキングの5つのアーキテクチャで評価する。
• 標準のデータ形式（コーパス、クエリ、qrels）を使用し、nDCG@10を主要評価指標とする。
• ベンチマークの実装は、Anserini、BM25、ColBERT、DPR、ANCE、TAS-B、GenQ などの一般的なIRツールキットと連携する。
• イン-domain対ゼロショットの性能、効率（待機遅延とインデックスサイズ）、および注釈バイアスの影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 多様なIRモデルは、複数のタスクとドメインにわたるアウト・オブ・ディストリビューションデータセットへの一般化をどの程度達成できるか？
• RQ2 どのアーキテクチャ（語彙型、疎、密、遅-interaction、再ランキング）はBEIRデータセットで最も強いゼロショット性能を提供するか？
• RQ3 イン-domain性能とクロスドメイン一般化の関係はどうか、そして効率性の考慮は精度とどう相互作用するか？

主な発見

• BM25はBEIRデータセット全体で強力なゼロショットベースラインのままだ。
• 再ランキングと遅相互作用モデルはしばしば最高のゼロショット性能を達成するが、遅延とメモリコストが高い。
• 密結合・疎結合の検索モデルは高速だが、多くのデータセットでしばしBM25を下回ることが多い。
• クロスアテンショナル再ランキング（BM25+CE）とColBERTは、一般にベースの密結合モデルよりもアウト・オブ・ディストリビューション一般化が良い。
• ドメイン適応と訓練損失はゼロショット一般化に影響を及ぼし、TAS-BとGenQは特定のドメインで強い結果を示す。
• 注釈バイアスが評価に影響を与え、語彙バイアスは語彙法のヒットを膨らませ、非語彙的アプローチを過小評価する。TREC-COVIDの欠陥を是正すると密結合モデルのスコアが改善される。