[논문 리뷰] BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models

Nandan Thakur, Nils Reimers외 3명|arXiv (Cornell University)|2021. 04. 17.

Topic Modeling참고 문헌 65인용 수 25

한 줄 요약

BEIR는 9개 작업에 걸친 18개 데이터셋으로 구성된 이질적인 제로샷 IR 벤치마크를 도입하여 10개의 검색 시스템을 평가하며, 강한 BM25 기준선을 강조하고 아키텍처 간 일반화의 차이를 보입니다.

ABSTRACT

Existing neural information retrieval (IR) models have often been studied in homogeneous and narrow settings, which has considerably limited insights into their out-of-distribution (OOD) generalization capabilities. To address this, and to facilitate researchers to broadly evaluate the effectiveness of their models, we introduce Benchmarking-IR (BEIR), a robust and heterogeneous evaluation benchmark for information retrieval. We leverage a careful selection of 18 publicly available datasets from diverse text retrieval tasks and domains and evaluate 10 state-of-the-art retrieval systems including lexical, sparse, dense, late-interaction and re-ranking architectures on the BEIR benchmark. Our results show BM25 is a robust baseline and re-ranking and late-interaction-based models on average achieve the best zero-shot performances, however, at high computational costs. In contrast, dense and sparse-retrieval models are computationally more efficient but often underperform other approaches, highlighting the considerable room for improvement in their generalization capabilities. We hope this framework allows us to better evaluate and understand existing retrieval systems, and contributes to accelerating progress towards better robust and generalizable systems in the future. BEIR is publicly available at https://github.com/UKPLab/beir.

연구 동기 및 목표

• IR 모델을 도메인 내 및 데이터셋 특유의 설정을 넘어 견고하게 평가하려는 목적.
• 다양한 작업과 도메인을 포괄하는 제로샷 벤치마크를 제공.
• lexical, sparse, dense, late-interaction 및 re-ranking IR 모델의 일반화 능력을 평가.

제안 방법

• 다양한 도메인과 문서/쿼리 특성을 포괄하는 9개 검색 태스크에서 18개의 English 제로샷 데이터셋 수집.
• 5가지 아키텍처(lexical, sparse, dense, late-interaction, re-ranking)에 걸쳐 10개의 검색 시스템 평가.
• 일관된 데이터 포맷(corpus, queries, qrels)과 표준 평가 지표(nDCG@10) 사용.
• 교차 도메인 일반화 및 효율성(레이턴시 및 인덱스 크기) 분석.
• 주석 편향 영향 분석 및 공정한 비교를 위한 가이드 제공.

실험 결과

연구 질문

• RQ1 다양한 IR 모델이 제로샷 설정에서 out-of-distribution 도메인과 태스크에 어떻게 일반화되는가?
• RQ2 아키텍처 간 검색 성능과 계산 효율성 사이에 트레이드오프가 있는가?
• RQ3 BEIR 데이터세트에서 주석 편향이 검색 시스템 평가에 어떤 역할을 하는가?
• RQ4 일관되지 않은 제로샷 성능에 대해 어떤 아키텍처가 견고하며, 어떤 도메인/태스크 조건에서 강점 또는 약점을 보이는가?

주요 결과

Model ( → )	Dataset ( ↓ )	BM25	DeepCT	SPARTA	docT5query	DPR	ANCE	TAS-B	GenQ	ColBERT	BM25+CE
BM25	MS MARCO	0.228	0.296	0.351	0.338	0.177	0.388	0.408	0.408	0.401	0.413
BM25	TREC-COVID	0.656	0.406	0.538	0.713	0.332	0.654	0.481	0.619	0.677	0.757
BM25	BioASQ	0.465	0.407	0.351	0.431	0.127	0.306	0.383	0.398	0.474	0.523
BM25	NFCorpus	0.325	0.283	0.301	0.328	0.189	0.237	0.319	0.319	0.305	0.350
BM25	NQ	0.329	0.188	0.398	0.399	0.474	0.446	0.463	0.358	0.524	0.533
BM25	HotpotQA	0.603	0.503	0.492	0.580	0.391	0.456	0.584	0.534	0.593	0.707
BM25	FiQA-2018	0.236	0.191	0.198	0.291	0.112	0.295	0.300	0.308	0.317	0.347
BM25	Signal-1M (RT)	0.330	0.269	0.252	0.307	0.155	0.249	0.289	0.281	0.274	0.338
BM25	TREC-NEWS	0.398	0.220	0.258	0.420	0.161	0.382	0.377	0.396	0.393	0.431
BM25	Robust04	0.408	0.287	0.276	0.437	0.252	0.392	0.427	0.362	0.391	0.475
BM25	ArguAna	0.315	0.309	0.279	0.349	0.175	0.415	0.429	0.493	0.233	0.311
BM25	Touché-2020	0.367	0.156	0.175	0.347	0.131	0.240	0.162	0.182	0.202	0.271
BM25	CQADupStack	0.299	0.268	0.257	0.325	0.153	0.296	0.314	0.347	0.350	0.370
BM25	Quora	0.789	0.691	0.630	0.802	0.248	0.852	0.835	0.830	0.854	0.825
BM25	DBPedia	0.313	0.177	0.314	0.331	0.263	0.281	0.384	0.328	0.392	0.409
BM25	SCIDOCS	0.158	0.124	0.126	0.162	0.077	0.122	0.149	0.143	0.145	0.166
BM25	FEVER	0.753	0.353	0.596	0.714	0.562	0.669	0.700	0.669	0.771	0.819
BM25	Climate-FEVER	0.213	0.066	0.082	0.201	0.148	0.198	0.228	0.175	0.184	0.253
BM25	SciFact	0.665	0.630	0.582	0.675	0.318	0.507	0.643	0.644	0.671	0.688

• BM25는 많은 데이터셋에서 여전히 강력한 제로샷 기준선이다.
• 재랭킹 및 late-interaction 모델은 종종 최상의 제로샷 성능을 보이지만 대기시간과 메모리 비용이 크다.
• Dense 및 sparseRetrievers는 제로샷 일반화에서 BM25보다 자주 뒤처지며, 도메인 내에서의 좋은 성능과 대조를 이룬다.
• Cross-attentional re-ranking(BM25+CE)와 ColBERT는 out-of-distribution 일반화가 강하며, 많은 데이터셋에서 BM25를 능가한다.
• GenQ는 밀집 래퍼(retriever)의 도메인 적응에 도움을 줄 수 있지만, 보편적으로 개선되지는 않는다.
• 주석 편향(hole@10) 분석은 어휘적 편향이 lexical 방법에 유리함을 드러내고, 주의 깊은 주석 없이 비-lexical 접근 방식의 저평가를 시사한다.