[논문 리뷰] From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective

Thibault Formal, Carlos Lassance외 2명|arXiv (Cornell University)|2022. 05. 10.

Topic Modeling인용 수 15

한 줄 요약

이 논문은 SPLADE에 지식 정복, 하드 음성 마이닝, 향상된 사전 훈련된 언어 모델 초기화를 적용하여 희소 신경 정보 검색 모델을 향상시켜 도메인 내(MS MARCO) 및 제로샷(BEIR) 벤치마크에서 최신 기준 성능을 달성한다. 제안된 SPLADE++ 프레임워크는 밀도 있는 모델에서 유래한 훈련 개선 기법이 희소 모델로도 이식 가능하며, 기법들을 조합함으로써 누적적인 성능 향상과 표현력 있는 아키텍처를 통한 강력한 일반화 능력을 보여준다.

ABSTRACT

Neural retrievers based on dense representations combined with Approximate Nearest Neighbors search have recently received a lot of attention, owing their success to distillation and/or better sampling of examples for training -- while still relying on the same backbone architecture. In the meantime, sparse representation learning fueled by traditional inverted indexing techniques has seen a growing interest, inheriting from desirable IR priors such as explicit lexical matching. While some architectural variants have been proposed, a lesser effort has been put in the training of such models. In this work, we build on SPLADE -- a sparse expansion-based retriever -- and show to which extent it is able to benefit from the same training improvements as dense models, by studying the effect of distillation, hard-negative mining as well as the Pre-trained Language Model initialization. We furthermore study the link between effectiveness and efficiency, on in-domain and zero-shot settings, leading to state-of-the-art results in both scenarios for sufficiently expressive models.

연구 동기 및 목표

• 밀도 있는 신경 정보 검색 모델에서 유래한 훈련 개선 기법(예: 지식 정복, 하드 음성 마이닝)이 희소 신경 검색기의 성능 향상에 기여하는지 조사하기 위해.
• 사전 훈련된 언어 모델 초기화가 희소 모델의 성능 및 일반화 능력에 미치는 영향을 평가하기 위해.
• 희소 검색에서 모델 성능과 추론 효율성(FLOPS) 간의 트레이드오프를 분석하기 위해.
• 여러 훈련 기법을 조합할 경우 희소 신경 IR에서 누적적인 성능 향상이 발생하는지 확인하기 위해.
• BEIR 벤치마크를 활용해 제로샷 설정에서 향상된 희소 모델의 일반화 능력을 평가하기 위해.

제안 방법

• 교사 모델을 사용하여 지식 정복을 적용한 SPLADE 모델을 변형하여, 로짓 매칭(DistilMSE) 또는 소프트 레이블 정복(SelfDistil) 기반의 정복 손실을 사용한다.
• 이전 모델의 검색 결과에서 샘플링한 음성 예제를 사용하여 하드 음성 마이닝을 도입하며, 앙상블 기반 및 자기 정복 전략을 모두 활용한다.
• 성능 및 일반화에 미치는 영향 평가를 위해 다양한 사전 훈련된 언어 모델 체크포인트(BERT-base, CoCondenser 등)를 활용한다.
• 고차원적 희소성 유지와 함께 용어 재가중 및 확장 가능성을 보장하기 위해 훈련 중에 희소 정규화를 적용한다.
• 최고 성능을 보인 구성(예: CoCondenser-EnsembleDistil)을 조합하여 최종 SPLADE++ 모델을 구성하며, 이는 누적적인 성능 향상을 활용한다.
• 도메인 내(MS MARCO) 및 제로샷(BEIR) 설정에서 표준 정보 검색 메트릭(MRR@10, nDCG@10, R@1k)을 사용해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 지식 정복이 SPLADE와 같은 희소 신경 IR 모델의 성능 향상에 상당한 기여를 할 수 있는가?
• RQ2 하드 음성 마이닝이 희소 신경 검색기의 일반화 능력과 성능 향상에 기여하는가?
• RQ3 사전 훈련된 언어 모델 초기화의 선택이 희소 모델의 성능 및 제로샷 일반화 능력에 어떤 영향을 미치는가?
• RQ4 지식 정복과 하드 음성 마이닝이 희소 신경 IR에서 얼마나 누적적인 성능 향상 기여를 하는가?
• RQ5 희소 검색에서 모델 성능과 추론 효율성(FLOPS) 간에 트레이드오프가 존재하는가, 그리고 이는 모델 용량에 따라 어떻게 변화하는가?

주요 결과

• SPLADE++의 CoCondenser-EnsembleDistil 버전은 BEIR 벤치마크에서 MRR@10이 50.7로, 제로샷 평가 기준으로 새로운 최고 기록을 수립했다.
• CoCondenser-SelfDistil 버전은 BEIR에서 평균 nDCG@10이 50.5를 기록하여 이전의 모든 희소 모델을 능가하며 강력한 일반화 능력을 입증했다.
• 지식 정복을 앙상블 기반 하드 음성 마이닝과 조합할 경우, MS MARCO에서 단순 훈련 대비 MRR@10이 1.6점 향상되었다.
• 최고의 모델(CoCondenser-EnsembleDistil)은 BEIR에서 BM25와 조기 요소별 합을 통해 52.1의 평균 nDCG@10을 기록했으며, 이는 어휘적 방법과 신경 기반 방법 간의 상호보완성을 보여주었다.
• 더 높은 FLOPS(용량)를 가진 모델일수록 더 강한 일반화 능력을 보였으며, 가장 표현력 있는 구성이 제로샷 작업에서 단순한 모델보다 뛰어난 성능을 보였다.
• 자기 정복(SelfDistil) 전략은 음성 예제를 추출하기 위해 밀도 있는 검색기만 사용하므로, MS MARCO에 대한 과적합이 줄어들어 EnsembleDistil보다 더 우수한 제로샷 일반화 능력을 보였다.