[논문 리뷰] BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models

Nandan Thakur, Nils Reimers외 3명|arXiv (Cornell University)|2021. 04. 17.

Topic Modeling인용 수 100

한 줄 요약

BEIR는 9개 작업에 걸친 18개 데이터셋으로 구성된 이질적인 제로샷 IR 벤치마크를 제시하여 10개의 검색 시스템을 평가하고, 단일 우승자는 없으며 일반화 및 효율성의 트레이드오프를 강조한다.

ABSTRACT

Existing neural information retrieval (IR) models have often been studied in homogeneous and narrow settings, which has considerably limited insights into their out-of-distribution (OOD) generalization capabilities. To address this, and to facilitate researchers to broadly evaluate the effectiveness of their models, we introduce Benchmarking-IR (BEIR), a robust and heterogeneous evaluation benchmark for information retrieval. We leverage a careful selection of 18 publicly available datasets from diverse text retrieval tasks and domains and evaluate 10 state-of-the-art retrieval systems including lexical, sparse, dense, late-interaction and re-ranking architectures on the BEIR benchmark. Our results show BM25 is a robust baseline and re-ranking and late-interaction-based models on average achieve the best zero-shot performances, however, at high computational costs. In contrast, dense and sparse-retrieval models are computationally more efficient but often underperform other approaches, highlighting the considerable room for improvement in their generalization capabilities. We hope this framework allows us to better evaluate and understand existing retrieval systems, and contributes to accelerating progress towards better robust and generalizable systems in the future. BEIR is publicly available at https://github.com/UKPLab/beir.

연구 동기 및 목표

• 다양한 도메인과 작업 전반에 걸친 도메인 내 테스트를 넘어서는 IR 모델의 강건한 평가를 동기화한다.
• 렉사컬, 희소, 밀집, 느린 상호작용, 재랭킹 모델의 교차 도메인 일반화를 연구하기 위한 통합된 제로샷 벤치마크를 제공한다.
• 작업 간 데이터 형식과 평가 지표를 표준화하여 공정한 비교를 가능하게 한다.
• 어떤 아키텍처가 가장 잘 일반화되는지와 그 계산 비용은 무엇인지에 대한 통찰을 제공한다.

제안 방법

• 다양한 도메인과 데이터 특성을 가진 9개의 검색 작업에서 18개의 영어 제로샷 데이터세트를 선택한다.
• 다섯 가지 아키텍처(렉사컬, 희소, 밀집, 느린 상호작용, 재랭킹)에 걸쳐 10개의 최첨단 검색 시스템을 평가한다.
• 표준 데이터 형식(코퍼스, 질의, qrels)과 주 평가 지표로 nDCG@10를 사용한다.
• 벤치마크 구현은 인기 있는 IR 툴킷(Anserini, BM25, ColBERT, DPR, ANCE, TAS-B, GenQ 등)과 통합된다.
• 도메인 내 성능과 제로샷 성능, 효율성(지연 시간 및 인덱스 크기), 주석 편향의 영향을 분석한다.

실험 결과

연구 질문

• RQ1 다양한 IR 모델이 여러 작업과 도메인에 걸쳐 분포 외 데이터세트에 얼마나 잘 일반화하는가?
• RQ2 어떤 아키텍처(렉사컬, 희소, 밀집, 느린 상호작용, 재랭킹)가 BEIR 데이터셋에서 가장 강한 제로샷 성능을 제공하는가?
• RQ3 도메인 내 성능과 교차 도메인 일반화 간의 관계는 무엇이며, 효율성 고려가 정확도와 어떻게 트레이드 오프하는가?

주요 결과

• BM25는 BEIR 데이터세트 전반에서 여전히 강력한 제로샷 기준선이다.
• 재랭킹 및 느린 상호작용 모델은 종종 최고 제로샷 성능을 달성하지만 높은 지연 시간과 메모리 비용이 발생한다.
• Dense와 sparse 검색 모델은 더 빠르지만 많은 데이터셋에서 종종 BM25보다 낮은 성능을 보인다.
• 교차 주의 재랭킹(BM25+CE) 및 ColBERT는 기본 밀집 모델보다 일반화가 더 잘 나타난다.
• 도메인 적응 및 학습 손실이 제로샷 일반화에 영향을 주며, TAS-B와 GenQ가 일부 도메인에서 강한 결과를 보인다.
• 주석 편향은 평가에 영향을 미치며, 렉사컬 편향은 렉사컬 방법의 적중을 높이고 비렉사컬 접근법의 평가를 낮추며; TREC-COVID의 구멍 보정은 밀집 모델 점수를 개선한다.