[논문 리뷰] SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval

Thibault Formal, Carlos Lassance외 2명|arXiv (Cornell University)|2021. 09. 21.

Topic Modeling참고 문헌 25인용 수 11

한 줄 요약

이 논문은 최대 풀링, 문서 전용 인코딩, 지식 distillation을 통해 성능을 향상시킨 개선된 스퍼스 신경 정보 검색 모델인 SPLADE v2를 제안한다. BEIR에서 최신 기준 성능을 달성하였으며, TREC DL 2019에서 9% 이상의 NDCG@10 향상을 기록했고, 제로샷 평가에서 디퓨즈 모델을 능가한다.

ABSTRACT

In neural Information Retrieval (IR), ongoing research is directed towards improving the first retriever in ranking pipelines. Learning dense embeddings to conduct retrieval using efficient approximate nearest neighbors methods has proven to work well. Meanwhile, there has been a growing interest in learning \emph{sparse} representations for documents and queries, that could inherit from the desirable properties of bag-of-words models such as the exact matching of terms and the efficiency of inverted indexes. Introduced recently, the SPLADE model provides highly sparse representations and competitive results with respect to state-of-the-art dense and sparse approaches. In this paper, we build on SPLADE and propose several significant improvements in terms of effectiveness and/or efficiency. More specifically, we modify the pooling mechanism, benchmark a model solely based on document expansion, and introduce models trained with distillation. We also report results on the BEIR benchmark. Overall, SPLADE is considerably improved with more than $9$\% gains on NDCG@10 on TREC DL 2019, leading to state-of-the-art results on the BEIR benchmark.

연구 동기 및 목표

• 스퍼스 검색에서 어휘 불일치 문제를 해결하기 위해 텀 수준의 모델링 및 확장 메커니즘을 향상시키기 위해.
• 효율성과 역인verted 인덱스와의 호환성을 유지하면서도 스퍼스 신경 정보 검색 모델의 효과성을 향상시키기 위해.
• 문서 전용 인코더를 훈련시켜 온라인 전처리를 완전히 사전에 수행할 수 있도록 효율적인 추론 대체 방법을 탐색하기 위해.
• 지식 distillation을 활용하여 추론 비용을 증가시키지 않고 성능을 향상시키기 위해.
• BEIR에서 최고 성능을 달성하고, MS MARCO 및 TREC DL 2019 벤치마크에서 경쟁력 있는 성능을 내기 위해.

제안 방법

• 원래의 SPLADE 풀링 메커니즘을 최대 풀링으로 대체하여 주목할 만한 텀 표현을 더 잘 포착하고 신호 강도를 향상시키기 위해.
• 쿼리 인코딩 없이 스퍼스 문서 표현을 생성하는 문서 전용 인코더(SPLADE-doc)를 도입하여, 전체적인 사전 계산이 가능한 추론을 가능하게 하기 위해.
• 더 강력한 트레이너 모델(예: 디퓨즈 또는 대규모 스퍼스 모델)에서 더 작은 스타디 모델로 지식을 전이하기 위해 지식 distillation을 적용하여, FLOPS 오버헤드를 최소화하면서 성능을 향상시키기 위해.
• 스퍼스성을 강제로 유지하고 효율적인 역인verted 인덱스 시스템과의 호환성을 유지하기 위해 L1 정규화를 사용하여 모델을 훈련시키기 위해.
• 두 단계 훈련 전략을 사용: 먼저 대규모 코퍼스에서 모델을 사전 훈련한 후, 대조 학습 목표를 사용하여 레이블이 있는 정보 검색 데이터셋에서 미세 조정하기 위해.
• 스퍼스성과 성능의 균형을 맞추기 위해 정규화 강도(λ) 및 풀링 온도와 같은 하이퍼파라미터를 최적화하기 위해.

실험 결과

연구 질문

• RQ1 SPLADE의 원래 풀링 메커니즘을 최대 풀링으로 대체할 경우 검색 효과성이 유의하게 향상되는가?
• RQ2 문서 전용 인코더 모델은 더 빠르고 완전히 사전 계산 가능한 검색을 가능하게 하면서도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 지식 distillation이 추론 효율성을 저하시키지 않고 스퍼스 신경 정보 검색 모델의 성능을 얼마나 향상시키는가?
• RQ4 BEIR와 같은 제로샷 및 피셔샷 평가 벤치마크에서 SPLADE v2는 최신 기준 디퓨즈 및 스퍼스 모델과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 모델에서 모델의 스퍼스성(문서당 평균 비영원 차원 수)과 검색 효과성 사이의 상호 교환 관계는 어떠한가?

주요 결과

• SPLADE- max는 MS MARCO에서 원래 SPLADE보다 MRR@10과 NDCG@10에서 각각 2점 향상되었으며, COIL과 DeepImpact를 능가한다.
• SPLADE-doc 모델은 MS MARCO에서 문서당 비영원 가중치가 19개뿐인 상태에서 MRR@10이 29.6%를 기록했으며, doc2query-T5와 동등한 성능을 내면서도 더 효율적이다.
• DistilSPLADE- max는 BEIR 벤치마크에서 최고 성능을 기록했으며, 14개 데이터셋 중 11개에서 모든 베이스라인을 능가했고, 제로샷 평가에서 평균 NDCG@10이 0.506을 기록했다.
• TREC DL 2019에서 SPLADE v2는 원래 SPLADE 대비 NDCG@10에서 9% 이상의 향상을 기록했으며, 새로운 최고 기록을 수립했다.
• 낮은 FLOPS에서도(예: 약 0.3 FLOPS에서 0.35 MRR@10) 디스틸리드 모델은 높은 성능을 유지하여 뛰어난 효율-정확도 트레이드오프를 보였다.
• 최대 풀링의 효과는 여러 데이터셋에서 일관되게 나타났으며, SPLADE- max는 그림 1에서 보여주듯이 효과성과 효율성 측면에서 뛰어난 성능을 보였다.