[論文レビュー] Multilingual E5 Text Embeddings: A Technical Report

Liang Wang, Nan Yang+4 more|arXiv (Cornell University)|Feb 8, 2024

Natural Language Processing Techniques被引用数 30

ひとこと要約

本論文は multilingual E5 テキスト埋め込みモデル（mE5）を small/base/large サイズで提示し、約1B の多言語テキストペアを用いた対比事前学習とラベル付きデータでのファインチューニングを行い、さらに instruction-tuned バリアントを追加しており、MTEB、MIRACL、および多言語にわたる ビットテキストマイニング の評価を実施している。

ABSTRACT

This technical report presents the training methodology and evaluation results of the open-source multilingual E5 text embedding models, released in mid-2023. Three embedding models of different sizes (small / base / large) are provided, offering a balance between the inference efficiency and embedding quality. The training procedure adheres to the English E5 model recipe, involving contrastive pre-training on 1 billion multilingual text pairs, followed by fine-tuning on a combination of labeled datasets. Additionally, we introduce a new instruction-tuned embedding model, whose performance is on par with state-of-the-art, English-only models of similar sizes. Information regarding the model release can be found at https://github.com/microsoft/unilm/tree/master/e5 .

研究の動機と目的

• English E5 を多言語設定に拡張して、クロスリンガル検索と意味的類似性を向上させる。
• 推論効率と埋め込み品質のバランスを取る small/base/large モデルを提供する。
• 言語を跨ぐタスク性能を高めるための instruction-tuned 埋め込みモデルを導入する。
• モデルの重みを公開し、標準ベンチマークで多言語および英語のみの性能が競争力があることを示す。

提案手法

• 2段階のトレーニング: バッチ内ネガティブを用いた InfoNCE による ~1B の多言語テキストペアを対象とした弱教師あり対比事前学習。
• ラベル付きデータセットの厳選ミックスでの教師ありファインチューニング、ハードネガティブの組み込みと cross-encoder からの知識蒸留を含む。
• mE5-large-instruct では、GPT-3.5/4 由来の合成データを追加して instruction-tuned 埋め込みモデルを作成。
• 初期化は multilingual MiniLM、xlm-roberta-base/large に従い、言語固有の事前学習を考慮。
• ハイパーパラメータ: 対比事前学習は learning rate {3,2,1}e-4、small/base/large 向け; ファインチューニングは batch size 512、learning rate {3,2,1}e-5、2 エポック。
• 評価は MTEB の English 部分、MIRACL の多言語リトリーバル、BUCC/Bitext mining ベンチマークを用いてクロスリンガルおよび多言語能力を評価。

実験結果

リサーチクエスチョン

• RQ1 英語中心のベンチマークにおいて、 multilingual E5 埋め込み（mE5）は English-only/他の多言語モデルと比較してどう性能を示すか？
• RQ2 モデルサイズ（small/base/large）が多言語リトリーバルとクロスリンガルタスクに与える影響は？
• RQ3 同程度のサイズの最先端英語モデルと同等またはそれを上回る instruction-tuned 多言語埋め込みモデルは作れるか？
• RQ4 mE5 モデルは多言語リトリーバルベンチマーク（MIRACL）および多言語にわたるビットテキストマイニングでどの程度の性能を示すか？
• RQ5 合成データによるデータ拡張（instruction tuning）が多言語埋め込み品質に与える効果は？

主な発見

• mE5-large は競争力のある English MTEB の結果を達成し、いくつかの多言語ベースラインを上回り、英語のみモデルに近づく。
• mE5-large-instruct はさらなる性能向上を達成し、同等サイズの英語のみモデルを一部タスクで上回る。
• MIRACL では mE5 モデルが mDPR を上回り、16 言語にわたる強力な多言語リトリーバルを示す。
• ビットテキストマイニングベンチマーク（BUCC/Tatoeba 複数言語）では、特に large および large-instruct バリアントの mE5 モデルが競争力のある結果と言語カバレッジの改善を示す。
• 小型の mE5 バリアントは推論の高速化とストレージ削減のために性能を一部妥協し、リソース制約下のアプリケーションに適しています。
• instruction-tuned バリアントは非指示付きに対して利得を示し、合成/誘導データが多言語埋め込みに有用であることを強調している。