[論文レビュー] MMTEB: Massive Multilingual Text Embedding Benchmark

Kenneth Enevoldsen, Isaac Chung+84 more|ArXiv.org|Feb 19, 2025

Natural Language Processing Techniques被引用数 8

ひとこと要約

MMTEB は、250言語以上・500以上のタスクをカバーする大規模なコミュニティ主導のテキスト埋め込みベンチマークで、ランキングを維持しつつ計算量を削減する最適化を実現。

ABSTRACT

Text embeddings are typically evaluated on a limited set of tasks, which are constrained by language, domain, and task diversity. To address these limitations and provide a more comprehensive evaluation, we introduce the Massive Multilingual Text Embedding Benchmark (MMTEB) - a large-scale, community-driven expansion of MTEB, covering over 500 quality-controlled evaluation tasks across 250+ languages. MMTEB includes a diverse set of challenging, novel tasks such as instruction following, long-document retrieval, and code retrieval, representing the largest multilingual collection of evaluation tasks for embedding models to date. Using this collection, we develop several highly multilingual benchmarks, which we use to evaluate a representative set of models. We find that while large language models (LLMs) with billions of parameters can achieve state-of-the-art performance on certain language subsets and task categories, the best-performing publicly available model is multilingual-e5-large-instruct with only 560 million parameters. To facilitate accessibility and reduce computational cost, we introduce a novel downsampling method based on inter-task correlation, ensuring a diverse selection while preserving relative model rankings. Furthermore, we optimize tasks such as retrieval by sampling hard negatives, creating smaller but effective splits. These optimizations allow us to introduce benchmarks that drastically reduce computational demands. For instance, our newly introduced zero-shot English benchmark maintains a ranking order similar to the full-scale version but at a fraction of the computational cost.

研究の動機と目的

• 現行のベンチマークを超えて言語・領域・タスクにわたるテキスト埋め込みの評価範囲を拡大する。
• 計算資源を削減して低リソース言語のアクセス性を高める。
• 多言語埋め込みベンチマークを構築・評価するための再利用可能なオープンソースフレームワークを提供する。
• 指示調整（instruction-tuning）とモデルサイズが多言語埋め込み性能に与える影響を多様なタスクで評価する。

提案手法

• 250以上の言語・500以上のタスクを横断して多言語ベンチマーク（MTEB Multilingual、Europe、Indic）に統合・標準化する。
• ダウンサンプリングと埋め込みキャッシュを導入して検索・クラスタリング・ビテクストタスクのエンコード需要を削減する。
• タスク間の相関に基づくタスク選択戦略を用いて、モデルのランキングを維持しつつタスクを削減する。
• 全英語ベンチマークと相関するランキングを持つ少数タスクのゼロショット版（MTEB eng, v2）を提供する。
• タスクごとカテゴリおよび全体スコアを報告するためにボルダ・カウントランキングを用いてパフォーマンスを算出する。
• 再現性と拡張性のためのオープンソースツールと公開リーダーボードを提供する。

実験結果

リサーチクエスチョン

• RQ1 低リソース環境でも計算資源を大幅に要さずに実行できる massively multilingual なテキスト埋め込みベンチマークをどう作成できるか？
• RQ2 命令調整済みモデルを含むさまざまな多言語モデルは、広範な言語とタスクでどのように性能を発揮するか？
• RQ3 ダウンサンプリング、ハードネガティブ、キャッシュなどの最適化戦略は、計算量を大幅に削減しつつモデルのランキングをどのように保つか？
• RQ4 完全に多言語のベンチマークと地域・言語特有のサブセットとで結果はどのように異なるか？
• RQ5 指示調整済みの多言語モデルは、低リソース言語において非指示調整のモデルをどの程度上回るか？

主な発見

順位（↓）	モデル（↓）	ボルダ計	全体	カテゴリー	Btxt	Pr Clf	Clf	STS	Rtrvl	M. Clf	Clust	Rrnk
1	multilingual-e5-large-instruct	1 (1375)	63.2	62.1	80.1	80.9	64.9	76.8	57.1	22.9	51.5	62.6
2	GritLM-7B	2 (1258)	60.9	60.1	70.5	79.9	61.8	73.3	58.3	22.8	50.5	63.8
3	e5-mistral-7b-instruct	3 (1233)	60.3	59.9	70.6	81.1	60.3	74.0	55.8	22.2	51.4	63.8
4	multilingual-e5-large	4 (1109)	58.6	58.2	71.7	79.0	59.9	73.5	54.1	21.3	42.9	62.8
5	multilingual-e5-base	5 (944)	57.0	56.5	69.4	77.2	58.2	71.4	52.7	20.2	42.7	60.2
6	multilingual-mpnet-base	6 (830)	52.0	51.1	52.1	81.2	55.1	69.7	39.8	16.4	41.1	53.4
7	multilingual-e5-small	7 (784)	55.5	55.2	67.5	76.3	56.5	70.4	49.3	19.1	41.7	60.4
8	LaBSE	8 (719)	52.1	51.9	76.4	76.0	54.6	65.3	33.2	20.1	39.2	50.2
9	multilingual-MiniLM-L12	9 (603)	48.8	48.0	44.6	79.0	51.7	66.6	36.6	14.9	39.3	51.0
10	all-mpnet-base	10 (526)	42.5	41.1	21.2	70.9	47.0	57.6	32.8	16.3	40.8	42.2
11	all-MiniLM-L12	11 (490)	42.2	40.9	22.9	71.7	46.8	57.2	32.5	14.6	36.8	44.3
12	all-MiniLM-L6	12 (418)	41.4	39.9	20.1	71.2	46.2	56.1	32.5	15.1	38.0	40.3
1	GritLM-7B	1 (757)	63.0	62.7	90.4	89.9	64.7	76.1	57.1	17.6	45.3	60.3
2	multilingual-e5-large-instruct	2 (732)	62.2	62.3	90.4	90.0	63.2	77.4	54.8	17.3	46.9	58.4
3	e5-mistral-7b-instruct	3 (725)	61.7	61.9	89.6	91.2	62.9	76.5	53.6	15.5	46.5	59.8
4	multilingual-e5-large	4 (586)	58.5	58.7	84.5	88.8	60.4	75.8	50.8	15.0	38.2	55.9
5	multilingual-e5-base	5 (499)	57.2	57.5	84.1	87.4	57.9	73.7	50.2	14.9	38.2	53.9
6	multilingual-mpnet-base	6 (463)	54.4	54.7	79.5	90.7	56.6	74.3	41.2	6.9	35.8	52.3
7	multilingual-e5-small	7 (399)	55.0	55.7	80.9	86.4	56.1	71.6	46.1	14.0	36.5	54.1
8	LaBSE	8 (358)	51.8	53.5	88.8	85.2	55.1	65.7	34.4	16.3	34.3	48.7
9	multilingual-MiniLM-L12	9 (328)	51.7	52.4	77.0	88.9	52.7	72.5	37.6	5.7	34.4	50.2
10	all-mpnet-base	10 (310)	44.7	44.7	29.8	82.0	49.2	63.9	37.3	10.9	36.2	49.6
11	all-MiniLM-L12	11 (292)	44.4	44.1	32.1	81.5	49.2	64.2	36.2	7.6	32.5	49.2
12	all-MiniLM-L6	12 (237)	43.4	43.2	27.2	80.2	47.8	62.7	37.3	8.8	33.6	47.7
1	multilingual-e5-large-instruct	1 (209)	70.2	71.6	80.4	76.3	67.0	53.7	84.9	51.7	87.5	?
2	multilingual-e5-large	2 (188)	66.4	65.1	77.7	75.1	64.7	43.9	82.6	25.6	86.0	?
3	multilingual-e5-base	3 (173)	64.6	62.6	74.2	72.8	63.8	41.1	77.8	24.6	83.8	?
4	multilingual-e5-small	4 (164)	64.7	63.2	73.7	73.8	63.8	40.8	76.8	29.1	84.4	?
5	GritLM-7B	5 (151)	60.2	58.0	58.4	67.8	60.0	27.2	79.5	28.0	84.7	?
6	e5-mistral-7b-instruct	6 (144)	60.0	58.4	59.1	73.0	59.6	23.0	77.3	32.7	84.4	?
7	LaBSE	7 (139)	61.9	59.7	74.1	64.6	61.9	52.8	64.3	21.1	79.0	?
8	multilingual-mpnet-base	8 (137)	58.5	55.2	44.2	82.0	61.9	34.1	57.9	32.1	74.3	?
9	multilingual-MiniLM-L12	9 (98)	49.7	42.2	15.3	77.8	57.6	19.8	48.8	16.7	59.3	?
10	all-mpnet-base	10 (68)	33.6	22.6	3.7	52.6	45.2	-2.5	12.9	4.0	42.6	?
11	all-MiniLM-L12	11 (49)	33.1	23.2	3.5	55.0	43.9	-5.3	13.9	3.7	47.6	?
12	all-MiniLM-L6	12 (40)	31.8	20.4	2.5	53.7	44.1	-6.3	6.2	3.1	39.2	?

• 指示調整済みモデルは、タスクカテゴリ全般で非指示調整モデルを大きく上回る。
• 小中規模の指示調整モデル（例：multilingual-e5-large-instruct）は、多言語ベンチマークで大規模な非指示調整モデルより優れることがある。
• GritLM-7B は検索タスクで堅調、一方 multilingual-e5-large-instruct は多言語設定全体で優位となることが多く、特に低リソース言語で顕著。
• ダウンサンプリングとブートストラップクラスタリングのような最適化は、ランキングを保持したまま平均約16倍の速度向上をもたらす。
• ゼロショット英語ベンチマーク（MTEB eng, v2）は全版と高い相関（Spearman 0.90）を示し、コスト効率の良い評価を可能にする。
• ベンチマークは、モデルサイズだけで多言語性能を保証しないトレードオフを強調しており、事前学習データ分布（英語中心か広範な多言語コーパスか） が結果に大きく影響する。