[논문 리뷰] Multilingual E5 Text Embeddings: A Technical Report

Liang Wang, Nan Yang외 4명|arXiv (Cornell University)|2024. 02. 08.

Natural Language Processing Techniques인용 수 30

한 줄 요약

이 논문은 소형/베이스/대형 크기의 다국어 E5 텍스트 임베딩 모델(mE5)을 제시하고, ~1B 다국어 텍스트 쌍에 대한 대조적 사전학습과 라벨링 데이터로의 미세조정 및 지시사항 조정 버전까지를 포함하며, MTEB, MIRACL, 그리고 다언어 쌍 채굴(bitext mining)에서 평가한다.

ABSTRACT

This technical report presents the training methodology and evaluation results of the open-source multilingual E5 text embedding models, released in mid-2023. Three embedding models of different sizes (small / base / large) are provided, offering a balance between the inference efficiency and embedding quality. The training procedure adheres to the English E5 model recipe, involving contrastive pre-training on 1 billion multilingual text pairs, followed by fine-tuning on a combination of labeled datasets. Additionally, we introduce a new instruction-tuned embedding model, whose performance is on par with state-of-the-art, English-only models of similar sizes. Information regarding the model release can be found at https://github.com/microsoft/unilm/tree/master/e5 .

연구 동기 및 목표

• 영어 E5를 다국어 설정(mE5)으로 확장하여 크로스링구얼 검색 및 의미적 유사성 향상을 도모한다.
• 추론 효율성과 임베딩 품질의 균형을 맞춘 소형/베이스/대형 모델을 제공한다.
• 다언어 임무 성능을 강화하기 위해 지시사항 조정 임베딩 모델을 도입한다.
• 모델 가중치를 공개하고 표준 벤치마크에서 다국어 및 영어 전용 성능을 경쟁력 있게 보여준다.

제안 방법

• 두 단계 학습: InfoNCE를 사용한 약-감독 대조적 사전학습으로 ~1B 다국어 텍스트 쌍에 대해 수행하고 배치 내 음수를 사용한다.
• 라벨링된 데이터의 신중한 혼합에 대한 감독형 미세조정으로 Hard negatives와 교차 인코더로부터의 지식 증류를 통합한다.
• mE5-large-instruct의 경우 GPT-3.5/4의 합성 데이터를 추가하여 지시사항 조정 임베딩 모델을 만든다.
• 다국어 MiniLM, xlm-roberta-base/large를 초기화로 사용하고 언어별 사전학습 고려를 반영한다.
• 하이퍼파라미터: 대조적 사전학습의 학습률을 소형/베이스/대형에 대해 {3,2,1}e-4로 설정; 2 에폭 동안 배치 크기 512와 학습률을 {3,2,1}e-5로 설정하여 미세조정한다.
• 평가에는 MTEB English 부분, MIRACL 다국어 검색 및 BUCC/Bitext 채굴 벤치마크를 활용하여 크로스링구얼 및 다국어 능력을 평가한다.

실험 결과

연구 질문

• RQ1 다국어 E5 임베딩(mE5)이 영어 중심 벤치마크에서 영어 전용/다른 다국어 모델에 비해 어떻게 성능을 보이는가?
• RQ2 모델 크기(소형/베이스/대형)가 다국어 검색 및 크로스링구얼 작업에 미치는 영향은 무엇인가?
• RQ3 지시사항 조정 다국어 임베딩 모델이 유사 크기의 영어 모델과 맞먹거나 능가할 수 있는가?
• RQ4 mE5 모델은 다언어 검색 벤치마크(MIRACL) 및 다언어 간 번역/정렬 작업에서 얼마나 잘 수행하는가?
• RQ5 합성 데이터 증강(지시 조정)이 다국어 임베딩 품질에 미치는 영향은 무엇인가?

주요 결과

• mE5-large는 영어 MTEB 결과에서 경쟁력 있는 성능을 달성하며 일부 다국어 베이스라인을 능가하고 영어 전용 모델에 근접한다.
• mE5-large-instruct는 성능을 추가적으로 개선하여 비슷한 크기의 영어 전용 모델을 특정 작업에서 능가한다.
• MIRACL에서 mE5 모델은 mDPR을 능가하고 16개 언어에 걸친 강력한 다국어 검색을 보인다.
• 다언어 임베딩 벤치마크(BUCC/Tatoeba)에서 mE5 모델은 특히 대형 및 대형-지시 버전에서 경쟁력 있는 결과와 언어 커버리지 향상을 보여준다.
• 작은 mE5 변형은 빠른 추론 및 저장 용량 감소를 위해 성능 일부를 포기하고 리소스 제약 애플리케이션에 적합하다.
• 지시사항 조정 버전은 비지시 버전 대비 이점을 보여주며, 다국어 임베딩에서 합성/가이드 데이터의 이점을 강조한다.