[论文解读] Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval

Xinyu Zhang, Xueguang Ma+2 more|arXiv (Cornell University)|Aug 19, 2021

Topic Modeling参考文献 22被引用 13

一句话总结

本文提出了 Mr. TYDI，一个面向十一种语言类型多样的单语密集检索的多语言基准，用于评估密集表示的零样本迁移性能。尽管 mDPR 在独立使用时表现不佳，但密集表示提供了互补的相关性信号，可提升稀疏检索（BM25）在稀疏-密集混合系统中的性能，尤其在多种语言中显著提高了召回率。

ABSTRACT

We present Mr. TyDi, a multi-lingual benchmark dataset for mono-lingual retrieval in eleven typologically diverse languages, designed to evaluate ranking with learned dense representations. The goal of this resource is to spur research in dense retrieval techniques in non-English languages, motivated by recent observations that existing techniques for representation learning perform poorly when applied to out-of-distribution data. As a starting point, we provide zero-shot baselines for this new dataset based on a multi-lingual adaptation of DPR that we call "mDPR". Experiments show that although the effectiveness of mDPR is much lower than BM25, dense representations nevertheless appear to provide valuable relevance signals, improving BM25 results in sparse-dense hybrids. In addition to analyses of our results, we also discuss future challenges and present a research agenda in multi-lingual dense retrieval. Mr. TyDi can be downloaded at https://github.com/castorini/mr.tydi.

研究动机与目标

• 为解决非英语语言在零样本迁移设置下缺乏稳健的多语言密集检索基准的问题。
• 评估密集检索模型在未在训练中出现过的分布外语言上的泛化能力和鲁棒性。
• 通过多语言 DPR（mDPR）的多语言适配，建立多语言密集检索的基础零样本基线。
• 探索密集表示如何在混合系统中补充稀疏检索（BM25），特别是在提升多种语言的召回率和排序性能方面。

提出的方法

• 从 TYDI QA 数据集构建 Mr. TYDI，将问题-段落对转换为以完整维基百科文章作为语料库的检索设置。
• 使用多语言 BERT 将 DPR 适配为多语言版本（mDPR），并在每种 11 种语言的单语数据上进行微调。
• 使用标准指标评估检索效果：平均精度均值（MAP）和 top-100 召回率。
• 通过拼接 BM25 和 mDPR 分数并重新排序，实现稀疏-密集混合检索系统。
• 使用现成的向量搜索库，实现基于密集表示的高效最近邻检索。
• 在不针对目标语言进行任何微调的情况下进行零样本评估，聚焦于跨语言的迁移能力。

实验结果

研究问题

• RQ1 多语言密集检索模型在零样本设置下，对低资源非英语语言的泛化能力如何？
• RQ2 在多种语言的混合检索系统中，密集表示相较于稀疏检索（BM25）的相对贡献是什么？
• RQ3 为何 mDPR 在使用相同模型架构和预训练数据的情况下，不同语言间的性能差异显著？
• RQ4 即使密集表示性能较弱，是否仍能提供有用的相关性信号，从而在混合系统中提升稀疏检索性能？
• RQ5 语言特异性属性（如语言类型学、语料规模）在多语言密集检索模型性能中起什么作用？

主要发现

• mDPR 在所有 11 种语言中的零样本性能显著低于 BM25，平均精度和召回率均更低。
• 尽管独立性能较差，mDPR 在稀疏-密集混合系统中仍能提升 BM25 表现，尤其在旁遮普语、印尼语、斯瓦希里语和泰卢固语中显著提高了召回率。
• 混合系统在大多数语言中实现的召回率优于 BM25 单独使用，其中在旁遮普语、印尼语、斯瓦希里语和泰卢固语中提升最为显著。
• 对于泰语，混合系统在排序性能上的提升大于召回率，表明 mDPR 在该语言中存在特定的语言失败模式。
• mDPR 与 BM25 之间的性能差距因语言而异，表明语言类型学和预训练数据分布可能影响模型的泛化能力。
• 结果表明，即使密集表示本身不够强大，也能提供互补的相关性信号，凸显了在多语言场景中混合检索的价值。