[논문 리뷰] SPLADE-v3: New baselines for SPLADE

Carlos Lassance, Hervé Déjean외 2명|arXiv (Cornell University)|2024. 03. 11.

Medical Imaging Techniques and Applications인용 수 4

한 줄 요약

SPLADE-v3는 다양한 벤치마크에서 BM25와 SPLADE++를 크게 앞서는 새로운 세대의 스parse 검색 모델을 소개한다. 여러 음성 예측, 앙상블 기반 distillation 점수, 하이브리드 KL-Divergence 및 MarginMSE 손실 함수를 통한 훈련을 개선함으로써, SPLADE-v3는 MRR@10 및 nDCG@10와 같은 핵심 지표에서 심지어 cross-encoder 재순서 모델을 초월하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A companion to the release of the latest version of the SPLADE library. We describe changes to the training structure and present our latest series of models -- SPLADE-v3. We compare this new version to BM25, SPLADE++, as well as re-rankers, and showcase its effectiveness via a meta-analysis over more than 40 query sets. SPLADE-v3 further pushes the limit of SPLADE models: it is statistically significantly more effective than both BM25 and SPLADE++, while comparing well to cross-encoder re-rankers. Specifically, it gets more than 40 MRR@10 on the MS MARCO dev set, and improves by 2% the out-of-domain results on the BEIR benchmark.

연구 동기 및 목표

• SPLADE 기반 스parse 검색 모델을 위한 새로운, 더 효과적인 베이스라인을 수립하기 위해.
• 주요 아키텍처 변경 없이도 향상된 훈련 절차를 통해 일반화 능력과 효과성을 향상시키기 위해.
• BEIR, MS MARCO, LoTTE를 포함한 다양한 이질적 환경에서 SPLADE-v3의 성능을 평가하기 위해.
• SPLADE-v3의 성능을 BM25, SPLADE++, 그리고 cross-encoder 재순서 모델과 비교하기 위해, 도메인 내 및 제로샷 검색 시나리오 모두에서 평가한다.
• 효율성과 추론 속도의 균형을 고려해 다양한 변형(예: DistilBERT, Lexical, Doc)을 공개하기 위해.

제안 방법

• 각 쿼리당 100개의 음성 예측을 사용하여 훈련: 상위 50개에서 50개, 상위 1,000개에서 50개를 선택하며, SPLADE++ 모델을 활용해 음성 예측의 품질을 향상시킨다.
• MS-MARCO MiniLM 및 TREC DL 2022 모델을 포함한 다섯 개의 cross-encoder 모델 앙상블을 통해 distillation 점수를 생성하여 레이블 품질을 향상시킨다.
• 이전 distillation 분포의 평균과 표준편차를 일치시키기 위해 애핀 변환을 사용한 재평가된 distillation 프로세스를 적용한다.
• 두 가지 distillation 손실 함수를 조합: KL-Divergence (λ=1) 및 MarginMSE (λ=0.05), 정밀도와 재현율의 균형을 맞추기 위해 교차 검증을 통해 최적화한다.
• 실제 성능 향상이 이루어지는 것으로 관측된 바에 따라, CoCondenser나 DistilBERT가 아닌 SPLADE++ SelfDistil에서 초기화하여 훈련을 시작한다.
• ranx 라이브러리를 사용해 각 쿼리별로 min-max 정규화를 적용하여 distillation 점수의 일관성 있는 스코어링을 보장한다.

실험 결과

연구 질문

• RQ1 아키텍처 혁신을 넘어서 향상된 훈련 절차만으로도 SPLADE 모델의 효과성이 크게 향상될 수 있는가?
• RQ2 여러 음성 예측과 앙상블 기반 distillation 점수를 사용할 경우 검색 성능 향상이 측정 가능한가?
• RQ3 SPLADE-v3는 다양한 도메인 내 및 이질적 검색 벤치마크에서 BM25와 SPLADE++보다 어떻게 비교되는가?
• RQ4 상위 50개 문서를 재순서할 때, SPLADE-v3가 cross-encoder 재순서 모델과 경쟁하거나 이를 능가할 수 있는가?
• RQ5 SPLADE-v3의 다양한 변형(예: DistilBERT, Lexical, Doc) 간 성능과 추론 효율성의 상호 교환 관계는 어떠한가?

주요 결과

• MS MARCO 개발 세트에서 SPLADE-v3는 MRR@10 40.2를 기록하여, BM25와 SPLADE++보다 통계적으로 유의미한 향상을 이룬다.
• BEIR 벤치마크에서 SPLADE-v3는 13개 데이터셋에서 SPLADE++ 대비 평균 2% 향상된 이질적 환경 성능을 기록하였으며, 평균 nDCG@10는 51.7이다.
• 44개의 쿼리 세트에 대한 메타 분석에서 SPLADE-v3는 44개 중 41개에서 BM25를 앞서며, 나머지 3개는 유의미하지 않은 경미한 하락을 보였다.
• 44개의 쿼리 세트 중 43개에서 SPLADE-v3는 SPLADE++ SelfDistil을 앞서며, 오직 Quora에서만 성능이 약간 감소하였다.
• 상위 50개 문서를 재순서할 경우 DeBERTaV3는 대부분의 데이터셋에서 SPLADE-v3를 능가하지만, MiniLM는 유사한 성능를 보이며, 이는 이 모델에서 재순서의 이점이 거의 없음을 시사한다.
• SPLADE-v3-Lexical은 MS MARCO와 LoTTE에서 높은 성능를 기록하지만, BEIR에서는 성능이 열등하여, 이질적 환경 일반화에 있어 쿼리 인코딩의 중요성을 강조한다.