[論文レビュー] Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models

Yanzhao Zhang, Mingxin Li+10 more|ArXiv.org|Jun 5, 2025

Topic Modeling被引用数 3

ひとこと要約

論文はQwen3 Embeddingを提示します。Qwen3基盤モデル上に構築されたテキスト埋め込みと再ランク付けモデルのファミリであり、合成データと高品質の监督による多段階パイプラインで訓練され、 multilingual およびコード検索ベンチマークで最先端の結果を達成し、 Apache 2.0 の下で公開されています。

ABSTRACT

In this work, we introduce the Qwen3 Embedding series, a significant advancement over its predecessor, the GTE-Qwen series, in text embedding and reranking capabilities, built upon the Qwen3 foundation models. Leveraging the Qwen3 LLMs' robust capabilities in multilingual text understanding and generation, our innovative multi-stage training pipeline combines large-scale unsupervised pre-training with supervised fine-tuning on high-quality datasets. Effective model merging strategies further ensure the robustness and adaptability of the Qwen3 Embedding series. During the training process, the Qwen3 LLMs serve not only as backbone models but also play a crucial role in synthesizing high-quality, rich, and diverse training data across multiple domains and languages, thus enhancing the training pipeline. The Qwen3 Embedding series offers a spectrum of model sizes (0.6B, 4B, 8B) for both embedding and reranking tasks, addressing diverse deployment scenarios where users can optimize for either efficiency or effectiveness. Empirical evaluations demonstrate that the Qwen3 Embedding series achieves state-of-the-art results across diverse benchmarks. Notably, it excels on the multilingual evaluation benchmark MTEB for text embedding, as well as in various retrieval tasks, including code retrieval, cross-lingual retrieval and multilingual retrieval. To facilitate reproducibility and promote community-driven research and development, the Qwen3 Embedding models are publicly available under the Apache 2.0 license.

研究の動機と目的

• Qwen3基盤モデルでテキスト埋め込みと再ランク付けを進化させる。
• 合成データと监督付きファインチューニングを組み合わせた多段階訓練パイプラインを設計する。
• 多言語およびコード検索タスクに対して、頑健で言語・タスク認識型の埋め込みと再ランク付けを実現する。
• 下流での利用のために、埋め込み次元とタスク認識指示を柔軟に設定可能にする。
• モデルと訓練コードをオープンソース化して再現性を促進する。

提案手法

• 0.6B、4B、8Bサイズのdense Qwen3バックボーン上に埋め込みと再ランク付けモデルを構築する。
• 合成データを用いた大規模な無監督事前学習と、高品質な监督付きファインチューニングを組み合わせた多段階訓練パイプラインを使用する。
• ファインチューニングのチェックポイント間でモデルマージ（slerpベース）を適用して頑健性を向上させる。
• 埋め込みにはコントラスト損失（InfoNCEベース）と高度なネガティブサンプリングおよびバッチ内信号を使用する。
• 再ランク付けにはLLMベースのスコアリング設定内で二値のYes/No形式の监督付きファインチューニング損失を最適化する。
• Qwen3-instructモデルを用いて多様で多言語・多タスクデータを合成し高品質な訓練信号を作成する。最終の监督段階には高品質ペアを選択する。
• 下流タスクに合わせて柔軟な埋め込み次元と指示カスタマイズを提供する。

実験結果

リサーチクエスチョン

• RQ1 基盤モデル（Qwen3）は多言語およびコード検索タスクで埋め込み品質と再ランク付け性能をどのように向上させるか。
• RQ2 合成データ生成とモデルマージを含む多段階訓練パイプラインが埋め込みと再ランク付け性能に与える影響は。
• RQ3 大量の合成データは人手注釈データへの依存を減らしつつ下流タスクの性能を維持または向上できるか。
• RQ4 モデルサイズの違い（0.6B、4B、8B）が埋め込みと再ランク付けの有効性と導入トレードオフにどう影響するか。
• RQ5 指示認識入力、カスタマイズ可能な次元など実用的な機能は埋め込み・再ランク付けモデルの現実世界適用性をどう高めるか。

主な発見

• Qwen3-Embedding-8Bは多言語テキスト埋め込みベンチマークで最高クラスの性能を達成し、コード検索ベンチマークでも競合的な結果を示す。
• 埋め込みシリーズはMTEB MultilingualおよびMTEB Codeベンチマークで最先端の結果を達成し、いくつかのタスクで従来の主要な独自モデルを上回った。
• 再ランク付けモデル（0.6B、4B、8B）は埋め込みバックボーンを一貫して改善し、ベースラインの再ランク付けより優れた性能を示し、サイズが大きいほど効果が高い。
• 2段階の訓練戦略（合成データ前訓練と高品質な监督付きファインチューニング）とモデルマージは頑健性と一般化を大幅に向上させる。
• アブレーション研究は、合成データ前訓練とモデルマージがピーク性能を達成するために重要であることを示している。