[논문 리뷰] Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models

Yanzhao Zhang, Mingxin Li외 10명|ArXiv.org|2025. 06. 05.

Topic Modeling인용 수 3

한 줄 요약

논문은 Qwen3 기반 모델로 구축된 텍스트 임베딩 및 재랭킹 모델 가족인 Qwen3 Embedding을 제시합니다. 합성 데이터와 고품질 감독 학습으로 다단계 파이프라인으로 학습되었으며, 다국어 및 코드 검색 벤치마크에서 최첨단 결과를 달성했고 Apache 2.0 라이선스 하에 공개되었습니다.

ABSTRACT

In this work, we introduce the Qwen3 Embedding series, a significant advancement over its predecessor, the GTE-Qwen series, in text embedding and reranking capabilities, built upon the Qwen3 foundation models. Leveraging the Qwen3 LLMs' robust capabilities in multilingual text understanding and generation, our innovative multi-stage training pipeline combines large-scale unsupervised pre-training with supervised fine-tuning on high-quality datasets. Effective model merging strategies further ensure the robustness and adaptability of the Qwen3 Embedding series. During the training process, the Qwen3 LLMs serve not only as backbone models but also play a crucial role in synthesizing high-quality, rich, and diverse training data across multiple domains and languages, thus enhancing the training pipeline. The Qwen3 Embedding series offers a spectrum of model sizes (0.6B, 4B, 8B) for both embedding and reranking tasks, addressing diverse deployment scenarios where users can optimize for either efficiency or effectiveness. Empirical evaluations demonstrate that the Qwen3 Embedding series achieves state-of-the-art results across diverse benchmarks. Notably, it excels on the multilingual evaluation benchmark MTEB for text embedding, as well as in various retrieval tasks, including code retrieval, cross-lingual retrieval and multilingual retrieval. To facilitate reproducibility and promote community-driven research and development, the Qwen3 Embedding models are publicly available under the Apache 2.0 license.

연구 동기 및 목표

• Qwen3 기초 모델로 텍스트 임베딩과 재랭킹을 향상시킨다.
• 합성 데이터와 감독 미세조정을 결합한 다단계 학습 파이프라인을 설계한다.
• 다국어 및 코드 검색 작업 전반에 걸쳐 강건하고 언어·작업 인식형 임베딩과 재랭커를 가능하게 한다.
• 후속 사용을 위한 구성 가능한 임베딩 차원과 작업 인식 지시를 제공한다.
• 모델과 학습 코드를 오픈소스로 공개하여 재현성을 촉진한다.

제안 방법

• 0.6B, 4B, 8B 크기의 Dense Qwen3 백본에 임베딩 및 재랭킹 모델을 구축한다.
• 합성 데이터가 포함된 대규모 비지도 사전 학습을 통해 다단계 학습 파이프라인을 사용하고, 이어 고품질의 감독 미세조정을 수행한다.
• 미세조정 단계의 체크포인트들 간에 모델 병합(slerp 기반)을 적용하여 강건성을 높인다.
• 임베딩의 경우 정교한 음수 샘플링과 배치 내 신호를 갖춘 대조 손실(InfoNCE 기반)을 사용한다.
• 재랭킹은 LLM 기반 채점 설정 내에서 이진 예/아니오 형식으로 감독 미세조정 손실을 최적화한다.
• Qwen3-instruct 모델을 사용하여 다양하고 다국어 다중 작업 데이터를 합성하여 고품질 학습 신호를 만들고, 최종 감독 단계를 위해 고품질 쌍을 선택한다.
• 다운스트림 작업에 맞추어 유연한 임베딩 차원과 지시 사용자화를 제공한다.

실험 결과

연구 질문

• RQ1 기초 모델(Qwen3)이 다국어 및 코드 검색 작업에서 임베딩 품질과 재랭킹 성능을 어떻게 향상시킬 수 있는가?
• RQ2 합성 데이터 합성 및 모델 병합을 포함한 다단계 학습 파이프라인이 임베딩과 재랭킹 성능에 미치는 영향은 무엇인가?
• RQ3 대규모 합성 데이터가 다운스트림 작업 성능을 유지하거나 향상시키면서 인간 주석 데이터에 대한 의존도를 줄일 수 있는가?
• RQ4 다른 모델 크기(0.6B, 4B, 8B)가 임베딩 및 재랭킹 효과와 배포상의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 실용적인 특징들(예: 지시 인식 입력, 맞춤 가능한 차원)이 임베딩 및 재랭킹 모델의 실제 적용 가능성을 어떻게 향상시키는가?

주요 결과

• Qwen3-Embedding-8B는 다국어 텍스트 임베딩 벤치마크에서 최상위 성능을 달성하고 코드 검색 벤치마크에서도 경쟁력 있는 결과를 보인다.
• 임베딩 시리즈는 MTEB 다국어 및 MTEB 코드 벤치마크에서 최첨단 결과를 달성하여 여러 작업에서 이전의 선도적인 독점 모델을 능가한다.
• 재랭킹 모델(0.6B, 4B, 8B)은 일관되게 임베딩 백본보다 성능이 향상되며 기준 재랭커를 능가하고, 더 큰 크기가 더 큰 이득을 제공한다.
• 합성 데이터 사전 학습과 고품질 감독 미세조정을 포함한 2단계 학습 전략과 모델 병합은 강건성과 일반화 성능을 상당히 높인다.
• 적용별 연구는 합성 데이터 사전 학습과 모델 병합이 최고 성능 달성에 결정적임을 보여준다.