[논문 리뷰] Text Embeddings by Weakly-Supervised Contrastive Pre-training

Liang Wang, Nan Yang외 6명|arXiv (Cornell University)|2022. 12. 07.

Topic Modeling인용 수 112

한 줄 요약

E5는 CCPairs에서 약지도 대조 학습으로 일반 목적 텍스트 임베딩을 학습하여 제로샷 검색에서 강력한 성능을 보여주고, 이전의 대형 임베딩 모델들보다 훨씬 적은 파라미터로 미세 조정에서 우수한 결과를 달성합니다.

ABSTRACT

This paper presents E5, a family of state-of-the-art text embeddings that transfer well to a wide range of tasks. The model is trained in a contrastive manner with weak supervision signals from our curated large-scale text pair dataset (called CCPairs). E5 can be readily used as a general-purpose embedding model for any tasks requiring a single-vector representation of texts such as retrieval, clustering, and classification, achieving strong performance in both zero-shot and fine-tuned settings. We conduct extensive evaluations on 56 datasets from the BEIR and MTEB benchmarks. For zero-shot settings, E5 is the first model that outperforms the strong BM25 baseline on the BEIR retrieval benchmark without using any labeled data. When fine-tuned, E5 obtains the best results on the MTEB benchmark, beating existing embedding models with 40x more parameters.

연구 동기 및 목표

• 검색, 클러스터링, 분류를 위한 고품질의 단일 벡터 텍스트 임베딩의 필요성 제시.
• 일반 목적 임베딩을 학습하기 위한 약지도, 대조 학습 프레임워크 제안.
• 대규모의 고품질 텍스트 쌍 데이터셋 CCPairs를 큐레이션하고 제로샷 및 미세 조정 성능을 입증.
• 제한된 라벨 데이터로도 다양한 작업 및 벤치마크에 임베딩이 잘 전달되는지 보여주기

제안 방법

• 쿼리와 문단에 대해 고정 크기의 임베딩을 생성하는 공유 트랜스포머 인코더를 가진 바이인코더 아키텍처 사용.
• 배치 내 부정 샘플과 대규모 배치를 이용한 InfoNCE 대조 손실로 학습.
• semi-structured 웹 소스에서 CCPairs를 큐레이션하고 일관성 기반 필터를 적용해 약 270M의 고품질 텍스트 쌍 유지.
• 선택적으로 라벨 데이터(MS-MARCO, NQ, NLI)를 hard negative와 교차 인코더 교사로부터의 지식 증류를 결합하여 파인튜닝.
• 임베딩을 BEIR(제로샷)과 MTEB(56개 영어 태스크)에서 평가하여 전달성 및 강건성 입증

실험 결과

연구 질문

• RQ1 약지도 대조 학습을 통한 큐레이션된 웹 규모 텍스트 쌍 데이터셋에서 일반 목적 텍스트 임베딩을 학습할 수 있는가?
• RQ2 CCPairs 기반 학습이 합성/노이즈 데이터 및 라벨링 데이터 미세 조정과 비교해 제로샷 및 미세 조정 검색 태스크에서 어떻게 다른가?
• RQ3 데이터 품질, 배치 크기 및 부정 샘플링이 임베딩 품질과 벤치마크 성능에 어떤 영향을 미치는가?
• RQ4 감독 학습 파인튜닝 후 소형에서 중형의 E5 모델이 훨씬 큰 임베딩 모델과 어느 정도 경쟁할 수 있는가?

주요 결과

• E5는 제로샷 검색에서 BEIR에서 최첨단 또는 경쟁력 있는 결과를 달성하며, 일부 데이터셋에서 라벨 데이터 없이도 BM25를 능가합니다.
• E5-base 및 E5-large는 MTEB에서 경쟁력 또는 우수한 성능을 달성하며, 파라미터 수가 최대 40배 많은 임베딩 모델을 능가합니다.
• 텍스트 분류를 위한 제로샷 SST-2 스타일 프롬프트에서 임베딩만으로도 강력한 성능을 보여 주어 적용 범위가 넓음을 시사합니다.
• 라벨 데이터(MS-MARCO, NQ, NLI)로의 파인튜닝은 검색, 클러스터링, STS 태스크 전반에 걸쳐 상당한 이득을 주며, 다양한 데이터 소스 결합 시 이득이 더 커집니다.
• 더 큰 배치 크기(더 많은 배치 내 부정 샘플)는 여러 데이터셋에서 검색 성능을 일관되게 향상시킵니다.
• CCPairs의 데이터 필터링은 주목할 만한 이득을 제공하며, 동일 규모의 100만 쌍으로 필터링된 데이터를 사용하면 비필터링 데이터보다 여러 태스크에서 우수합니다.
• 배치 내 부정 샘플이 MoCo 및 프리 배치 부정 전략보다 설정 하에서 더 우수하여 대규모 대조 학습에서 간단한 배치 내 부정의 효과를 강조합니다.
• BM25와 비교할 때, E5와 같은 조밀한 검색기는 여전히 어휘 기반 방법을 보완하며 특히 롱테일 또는 어휘 매칭 시나리오에서 하이브리드 접근의 여지를 남깁니다.