[논문 리뷰] BEIR-PL: Zero Shot Information Retrieval Benchmark for the Polish Language

Konrad Wojtasik, V. I. Shishkin외 3명|arXiv (Cornell University)|2023. 05. 31.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 기존 13개의 영어 정보 검색 데이터셋을 폴란드어로 번역하여 폴란드어를 위한 제로샷 정보 검색 벤치마크인 BEIR-PL을 제작한다. 이는 어휘적(BM25) 및 신경망 기반 검색 모델을 평가하며, 폴란드어의 형태적 복잡성으로 인해 BM25가 상당히 성능이 열 劣하는 것으로 드러나고, 특히 HerBERT 및 T5 모델과 같은 미세조정된 트랜스포머 리랭커가 기준 모델 대비 검색 성능을 크게 향상시킨다.

ABSTRACT

The BEIR dataset is a large, heterogeneous benchmark for Information Retrieval (IR) in zero-shot settings, garnering considerable attention within the research community. However, BEIR and analogous datasets are predominantly restricted to the English language. Our objective is to establish extensive large-scale resources for IR in the Polish language, thereby advancing the research in this NLP area. In this work, inspired by mMARCO and Mr.~TyDi datasets, we translated all accessible open IR datasets into Polish, and we introduced the BEIR-PL benchmark -- a new benchmark which comprises 13 datasets, facilitating further development, training and evaluation of modern Polish language models for IR tasks. We executed an evaluation and comparison of numerous IR models on the newly introduced BEIR-PL benchmark. Furthermore, we publish pre-trained open IR models for Polish language,d marking a pioneering development in this field. Additionally, the evaluation revealed that BM25 achieved significantly lower scores for Polish than for English, which can be attributed to high inflection and intricate morphological structure of the Polish language. Finally, we trained various re-ranking models to enhance the BM25 retrieval, and we compared their performance to identify their unique characteristic features. To ensure accurate model comparisons, it is necessary to scrutinise individual results rather than to average across the entire benchmark. Thus, we thoroughly analysed the outcomes of IR models in relation to each individual data subset encompassed by the BEIR benchmark. The benchmark data is available at URL {\bf https://huggingface.co/clarin-knext}.

연구 동기 및 목표

• 낮은 자원 언어를 위한 대규모 다국어 정보 검색 벤치마크의 부족을 해결하기 위해 폴란드어 전용 벤치마크를 구축한다.
• 어휘적 및 신경망 기반 정보 검색 모델의 폴란드어 텍스트에서의 성능을 평가하며, 제로샷 전이 학습에 중점을 둔다.
• 최신 기술 기반 모델을 사용하여 향후 폴란드어 언어 정보 검색 분야의 기초 성능 기준을 설정한다.
• 특히 BM25의 경우 폴란드어에서 형태적 복잡성이 검색 성능에 미치는 영향을 조사한다.
• 정보 검색 모델 및 BEIR-PL 벤치마크를 공개하여 폴란드어 자연어 처리 분야의 개방형 연구를 지원한다.

제안 방법

• BEIR 벤치마크에 포함된 13개의 기존 영어 정보 검색 데이터셋을 폴란드어로 번역하여 BEIR-PL을 구축하고, 언어적 및 작업 일관성을 확보한다.
• 어휘 기반 기준 모델로 BM25를 평가하고, BERT, T5, ColBERT, HerBERT 등의 다양한 신경망 리랭킹 모델과 성능을 비교한다.
• 대tric학습 및 역폐쇄작업(ICT)을 사용하여 대상 재랭킹 작업에 대해 다섯 가지 신경망 모델(HerBERT base/large, T5 base/large, mMiniLM)을 미세조정한다.
• ICT를 사용하여 비지도 밀도형 이중 인코더를 학습하고, LaBSE 및 mMiniLM 등의 다국어 문장 임베딩 모델과 비교한다.
• 모든 데이터셋에서 일관된 비교를 위해 MRR@10 및 NDCG@10을 주요 평가 지표로 사용한다.
• 전체 평균값에 오해를 줄 수 있으므로, 각 데이터셋별 분석을 수행하여 데이터셋 간 성능 변동성을 확인한다.

Figure 1: In retrieval with re-ranking setting, in the first stage, top@k most relevant documents are retrieved by the fast but inaccurate model. In our case, it was BM25. Afterwards, the documents are re-ranked by a more powerful and more accurate model.

실험 결과

연구 질문

• RQ1 BM25는 폴란드어 정보 검색 작업에서 영어 대비 어떻게 성능을 내며, 그 열 劣성의 원인은 무엇인가?
• RQ2 미세조정된 트랜스포머 기반 리랭킹 모델은 폴란드어 텍스트에서 검색 성능을 얼마나 향상시키는가?
• RQ3 T5, HerBERT, ColBERT 등의 다양한 모델 아키텍처는 BEIR-PL 벤치마크에서 효과성과 효율성 측면에서 어떻게 비교되는가?
• RQ4 ICT 기반의 비지도 밀도 검색이 제로샷 폴란드어 정보 검색에서 다국어 문장 임베딩보다 우수한 성능을 낼 수 있는가?
• RQ5 BEIR 벤치마크의 이질적인 성격으로 인해 전체 평균값이 아닌 각 데이터셋별 평가가 필수적인가?

주요 결과

• BM25는 폴란드어 정보 검색 작업에서 영어 대비 상당히 낮은 성능(MRR@10: 51.43)을 보이며, 폴란드어의 높은 형태적 복잡성이 어휘 매칭을 어렵게 한다고 나타난다.
• HerBERT large는 CQDupstack 데이터셋에서 MRR@10 56.19로 모든 모델 중 가장 높은 성능을 기록하여 폴란드어에서의 강력한 제로샷 전이 능력을 입증한다.
• T5 large는 CQDupstack 데이터셋에서 NDCG@10 68.03으로 가장 높은 성능을 기록하여 폴란드어에서의 밀도 검색 성능이 뛰어나다는 것을 시사한다.
• mMiniLM 모델은 CQDupstack 데이터셋에서 MRR@10 60.33으로 가장 높은 성능을 기록하며, 작은 크기의 모델임에도 불구하고 뛰어난 성능을 보였다.
• 성능은 데이터셋 간에 상당한 차이를 보였으며, BM25는 'webmasters'(MRR@10: 50.85)에서 가장 잘 작동하고 'physics'(MRR@10: 13.72)에서 가장 열 劣한 성능을 보였다. 이는 데이터셋 간 특수한 과제를 반영한다.
• 이 연구는 전체 벤치마크 평균값이 오해의 소지가 있으며, 정확한 모델 비교를 위해서는 각 데이터셋별 분석이 필수적임을 확인한다.