[论文解读] MMTEB: Massive Multilingual Text Embedding Benchmark

Kenneth Enevoldsen, Isaac Chung+84 more|ArXiv.org|Feb 19, 2025

Natural Language Processing Techniques被引用 8

一句话总结

MMTEB 是一个大规模、社区驱动的基准，用于评估跨越 250+ 种语言和 500+ 项任务的文本嵌入，同时进行优化以在保持排序的前提下降低计算量。

ABSTRACT

Text embeddings are typically evaluated on a limited set of tasks, which are constrained by language, domain, and task diversity. To address these limitations and provide a more comprehensive evaluation, we introduce the Massive Multilingual Text Embedding Benchmark (MMTEB) - a large-scale, community-driven expansion of MTEB, covering over 500 quality-controlled evaluation tasks across 250+ languages. MMTEB includes a diverse set of challenging, novel tasks such as instruction following, long-document retrieval, and code retrieval, representing the largest multilingual collection of evaluation tasks for embedding models to date. Using this collection, we develop several highly multilingual benchmarks, which we use to evaluate a representative set of models. We find that while large language models (LLMs) with billions of parameters can achieve state-of-the-art performance on certain language subsets and task categories, the best-performing publicly available model is multilingual-e5-large-instruct with only 560 million parameters. To facilitate accessibility and reduce computational cost, we introduce a novel downsampling method based on inter-task correlation, ensuring a diverse selection while preserving relative model rankings. Furthermore, we optimize tasks such as retrieval by sampling hard negatives, creating smaller but effective splits. These optimizations allow us to introduce benchmarks that drastically reduce computational demands. For instance, our newly introduced zero-shot English benchmark maintains a ranking order similar to the full-scale version but at a fraction of the computational cost.

研究动机与目标

• 扩展对文本嵌入在语言、领域和任务上的评估覆盖，超越现有基准。
• 通过降低计算要求提升对低资源语言的可及性。
• 提供一个可重复使用的、开源的多语言嵌入基准构建与评估框架。
• 评估指令化微调和模型规模对多语言嵌入在多种任务上的表现的影响。

提出的方法

• 将 500+ 任务、250+ 语言汇聚并标准化为多语言基准（MTEB 多语言、欧洲、Indic）。
• 引入下采样和嵌入缓存以减少检索、聚类和双语文本任务的编码需求。
• 基于任务间相关性的任务选择策略，在不显著损害模型排名的前提下裁剪任务。
• 提供一个零-shot 版本（MTEB eng, v2），任务较少但与完整英文基准的排名相关。
• 通过跨任务的博弈计数（Borda Count）来计算表现，并报告按任务类别及总体得分。
• 提供开源工具和公开排行榜以支持可重复性与扩展性。

实验结果

研究问题

• RQ1 如何在保持计算可控的前提下，创建一个大规模的多语言文本嵌入基准？
• RQ2 不同的多语言模型（包括指令微调模型）在广泛的语言和任务中如何表现？
• RQ3 哪些优化策略（如下采样、困难负样本、缓存）在大幅降低计算量的同时保持模型排名？
• RQ4 完全多语言基准与地区/语言子集之间的基准结果有何不同？
• RQ5 在低资源语言中，指令化微调的多语言模型在性能上是否优于未指令微调的模型？

主要发现

Rank (↓)	Model (↓)	Borda Count	All	Category	Btxt	Pr Clf	Clf	STS	Rtrvl	M. Clf	Clust	Rrnk
1	multilingual-e5-large-instruct	1 (1375)	63.2	62.1	80.1	80.9	64.9	76.8	57.1	22.9	51.5	62.6
2	GritLM-7B	2 (1258)	60.9	60.1	70.5	79.9	61.8	73.3	58.3	22.8	50.5	63.8
3	e5-mistral-7b-instruct	3 (1233)	60.3	59.9	70.6	81.1	60.3	74.0	55.8	22.2	51.4	63.8
4	multilingual-e5-large	4 (1109)	58.6	58.2	71.7	79.0	59.9	73.5	54.1	21.3	42.9	62.8
5	multilingual-e5-base	5 (944)	57.0	56.5	69.4	77.2	58.2	71.4	52.7	20.2	42.7	60.2
6	multilingual-mpnet-base	6 (830)	52.0	51.1	52.1	81.2	55.1	69.7	39.8	16.4	41.1	53.4
7	multilingual-e5-small	7 (784)	55.5	55.2	67.5	76.3	56.5	70.4	49.3	19.1	41.7	60.4
8	LaBSE	8 (719)	52.1	51.9	76.4	76.0	54.6	65.3	33.2	20.1	39.2	50.2
9	multilingual-MiniLM-L12	9 (603)	48.8	48.0	44.6	79.0	51.7	66.6	36.6	14.9	39.3	51.0
10	all-mpnet-base	10 (526)	42.5	41.1	21.2	70.9	47.0	57.6	32.8	16.3	40.8	42.2
11	all-MiniLM-L12	11 (490)	42.2	40.9	22.9	71.7	46.8	57.2	32.5	14.6	36.8	44.3
12	all-MiniLM-L6	12 (418)	41.4	39.9	20.1	71.2	46.2	56.1	32.5	15.1	38.0	40.3

• 指令微调模型在大多数任务类别中显著优于未微调的模型。
• 中小型的指令微调模型（如 multilingual-e5-large-instruct）在多语言基准上往往优于较大未指令微调模型。
• GritLM-7B 在检索任务中仍然强劲，而 multilingual-e5-large-instruct 在多语言设置中通常整体领先，尤其在低资源语言方面。
• 下采样与引导聚类等优化在保持模型排名的前提下实现了显著的加速（平均约 16x），Spearman 平均相关性为 0.96。
• 一个零-shot 的英文基准（MTEB eng, v2）与完整版相关性很高（Spearman 0.90），实现成本效益高的评估。
• 基准显示存在一个权衡：模型规模并非单独保证多语言性能，预训练数据分布（如以英语为中心 vs 广泛多语言语料库）对结果有显著影响。