[论文解读] BEIR-PL: Zero Shot Information Retrieval Benchmark for the Polish Language

Konrad Wojtasik, V. I. Shishkin+3 more|arXiv (Cornell University)|May 31, 2023

Topic Modeling被引用 4

一句话总结

本文提出了 BEIR-PL，一个针对波兰语的零样本信息检索基准，通过将13个现有的英文IR数据集翻译成波兰语而构建。该研究评估了词法（BM25）和神经检索模型，发现由于波兰语的词形复杂性，BM25在波兰语上的表现显著逊色，且表明微调后的Transformer重排序模型，尤其是HerBERT和T5模型，相较于基线模型在检索性能上实现了显著提升。

ABSTRACT

The BEIR dataset is a large, heterogeneous benchmark for Information Retrieval (IR) in zero-shot settings, garnering considerable attention within the research community. However, BEIR and analogous datasets are predominantly restricted to the English language. Our objective is to establish extensive large-scale resources for IR in the Polish language, thereby advancing the research in this NLP area. In this work, inspired by mMARCO and Mr.~TyDi datasets, we translated all accessible open IR datasets into Polish, and we introduced the BEIR-PL benchmark -- a new benchmark which comprises 13 datasets, facilitating further development, training and evaluation of modern Polish language models for IR tasks. We executed an evaluation and comparison of numerous IR models on the newly introduced BEIR-PL benchmark. Furthermore, we publish pre-trained open IR models for Polish language,d marking a pioneering development in this field. Additionally, the evaluation revealed that BM25 achieved significantly lower scores for Polish than for English, which can be attributed to high inflection and intricate morphological structure of the Polish language. Finally, we trained various re-ranking models to enhance the BM25 retrieval, and we compared their performance to identify their unique characteristic features. To ensure accurate model comparisons, it is necessary to scrutinise individual results rather than to average across the entire benchmark. Thus, we thoroughly analysed the outcomes of IR models in relation to each individual data subset encompassed by the BEIR benchmark. The benchmark data is available at URL {\bf https://huggingface.co/clarin-knext}.

研究动机与目标

• 通过创建针对波兰语的基准，解决低资源语言缺乏大规模多语言IR基准的问题。
• 评估词法和神经IR模型在波兰语文本上的表现，重点关注零样本迁移学习。
• 利用最先进模型为未来波兰语信息检索研究建立基线。
• 研究词形复杂性对检索性能的影响，特别是对波兰语中BM25的影响。
• 发布预训练的IR模型和BEIR-PL基准，以支持波兰语NLP领域的开放研究。

提出的方法

• 将BEIR基准中现有的13个英文IR数据集翻译成波兰语，构建BEIR-PL，确保语言和任务的一致性。
• 将BM25作为词法基线进行评估，并与多种神经重排序模型（包括BERT、T5、ColBERT和HerBERT）的性能进行比较。
• 使用对比学习和逆掩码任务（ICT）对五种神经模型（HerBERT base/large、T5 base/large、mMiniLM）进行微调，以完成重排序任务。
• 使用ICT训练一个无监督的稠密双编码器，并与多语言句子嵌入模型（如LaBSE和mMiniLM）进行比较。
• 在所有数据集中使用MRR@10和NDCG@10作为主要评估指标，以确保一致的比较。
• 进行逐数据集分析，以避免整体平均值带来的误导，突出数据集间的性能差异。

Figure 1: In retrieval with re-ranking setting, in the first stage, top@k most relevant documents are retrieved by the fast but inaccurate model. In our case, it was BM25. Afterwards, the documents are re-ranked by a more powerful and more accurate model.

实验结果

研究问题

• RQ1 与英文相比，BM25在波兰语IR任务中的表现如何？其表现不佳的原因是什么？
• RQ2 微调后的基于Transformer的重排序模型在波兰语文本上的检索性能提升了多少？
• RQ3 在BEIR-PL基准上，不同模型架构（如T5、HerBERT、ColBERT）在有效性和效率方面如何比较？
• RQ4 通过ICT实现的无监督稠密检索是否能在零样本波兰语IR中超越多语言句子嵌入？
• RQ5 BEIR基准的异质性是否意味着应进行逐数据集评估而非整体平均？

主要发现

• BM25在波兰语IR任务上的表现显著低于英文（MRR@10: 51.43），表明波兰语的高词形复杂性对词法匹配构成显著障碍。
• HerBERT large在CQDupstack数据集上表现最优，MRR@10达到56.19，表明其在波兰语上具有强大的零样本迁移能力。
• T5 large在CQDupstack数据集上取得了最高的NDCG@10（68.03），表明其在波兰语稠密检索中表现优异。
• mMiniLM在CQDupstack数据集上取得了最高的MRR@10（60.33），表明其虽为小型模型，但性能出色。
• 不同数据集间性能差异显著，BM25在‘webmasters’数据集上表现最佳（MRR@10: 50.85），在‘physics’数据集上最差（MRR@10: 13.72），凸显了数据集特定的挑战。
• 本研究证实，整体基准平均值可能具有误导性，因此逐数据集分析对于准确的模型比较至关重要。