[논문 리뷰] jina-embeddings-v3: Multilingual Embeddings With Task LoRA

Saba Sturua, Isabelle Mohr외 9명|arXiv (Cornell University)|2024. 09. 16.

Topic Modeling인용 수 15

한 줄 요약

tldr: jina-embeddings-v3는 570M-parameter 다국어 텍스트 임베딩 모델이며, 작업별 LoRA 어댑터를 포함하고, 최대 8192-token 컨텍스트를 지원하며, Matryoshka Representation Learning을 통해 유연한 차원 수를 가능하게 하면서 다국어 및 영어 작업에서 최첨단 성능을 달성한다.

ABSTRACT

We introduce jina-embeddings-v3, a novel text embedding model with 570 million parameters, achieves state-of-the-art performance on multilingual data and long-context retrieval tasks, supporting context lengths of up to 8192 tokens. The model includes a set of task-specific Low-Rank Adaptation (LoRA) adapters to generate high-quality embeddings for query-document retrieval, clustering, classification, and text matching. Evaluation on the MTEB benchmark shows that jina-embeddings-v3 outperforms the latest proprietary embeddings from OpenAI and Cohere on English tasks, while achieving superior performance compared to multilingual-e5-large-instruct across all multilingual tasks. With a default output dimension of 1024, users can flexibly reduce the embedding dimensions to as low as 32 without compromising performance, enabled by Matryoshka Representation Learning.

연구 동기 및 목표

• 롱컨텍스트 검색 및 다수의 다운스트림 태스크에 최적화된 작고 고성능의 다국어 텍스트 임베딩 모델을 개발한다.
• 검색, 클러스터링, 분류, 텍스트 매칭을 위한 임베딩을 맞춤화하기 위해 작업별 LoRA 어댑터를 활용한다.
• 성능을 향상시키되 효율성을 유지하기 위해 현대 기술(Matryoshka Representation Learning, instruction tuning, RoPE, and long-context retrieval)을 통합한다.
• 생산/온-에지 사용에 대해 더 큰 LLM 기반 임베딩 접근 방식에 비해 견고성과 비용 효율성을 입증한다.

제안 방법

• 8192-token 지원을 위한 FlashAttention 2와 가변 RoPE를 갖춘 XLM-RoBERTa를 기반으로 한 아키텍처.
• 다섯 개의 작업별 LoRA 어댑터(retrieval.query, retrieval.passage, separation, classification, text-matching)로 작업 조건부 임베딩을 가능하게 한다.
• 두 단계 학습: (i) CulturaX 다국어 말뭉치에서 MLM으로 사전 학습; (ii) 의미론적 텍스트 쌍에 대한 평균 풀링과 InfoNCE 기반 손실로 임베딩 작업에 대한 파인튜닝.
• 다섯 개의 어댑터는 각각 독립적으로 훈련되며, retrieval.query/passage는 예외적으로 공동 훈련되고, 인퍼런스 시 입력 태스크에 따라 선택된다.
• Matryoshka Representation Learning은 1024에서 32까지 큰 성능 손실 없이 출력 차원을 낮출 수 있게 해준다.

실험 결과

연구 질문

• RQ1 컴팩트한 인코더(~570M 매개변수)가 작업과 언어에 걸쳐 경쟁력 있는 다국어 임베딩 품질을 달성할 수 있는가?
• RQ2 작업별 LoRA 어댑터가 일반 프롬프트나 지시 기반 튜닝에 비해 검색, 클러스터링, 분류 및 텍스트 유사도 임베딩을 향상시키는가?
• RQ3 최대 8192 토큰의 long-context 지원이 영어 및 다국어 작업 전반의 임베딩 품질에 어떤 영향을 미치는가?
• RQ4 RoPE, MRD(Matryoshka Learning), 및 long-context 전략의 통합이 생산/라우팅 시나리오에서 실질적인 이점을 가져오는가?

주요 결과

• Jina-embeddings-v3는 MTEB 벤치마크에서 다국어 데이터 및 long-context 검색 작업(8192 토큰)에서 최첨단 성능을 달성한다.
• 모델은 영어 태스크에서 OpenAI와 Cohere의 최신 독점 임베딩보다 우수하고, 다국어 태스크 전반에서 multilingual-e5-large-instruct를 능가한다.
• 기본 출력 차원 1024에서, Matryoshka Representation Learning을 사용해 32까지 축소하더라도 큰 성능 저하 없이 임베딩을 만들 수 있다.
• LoRA 어댑터는 전체 매개변수의 3% 미만을 차지하여 최소 오버헤드로 작업별 임베딩 최적화를 가능하게 한다.
• 롱-컨텍스트 평가에서 jina-embeddings-v3은 jina-embeddings-v2 및 기타 비-LLM 기반 인코더를 포함한 여러 베이스라인과 비교하여 장기 문서 검색 작업에서 우수한 성능을 달성한다.
• 실패 분석 기반의 검색 어댑터 학습(synthetic data and preference learning)은 구문 편향, 명명 엔티티 오해, 극단적 질문 이해, 저품질 문서 선호도와 같은 특정 검색 실패 모드를 완화한다.