[논문 리뷰] In Defense of Cross-Encoders for Zero-Shot Retrieval

Guilherme J. M. Rosa, Luiz Bonifacio외 5명|arXiv (Cornell University)|2022. 12. 12.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 제로샷 검색에서 양방향 인코더보다 교차 인코더가 열등하다는 것을 주장하며, 초기 질의-문서 상호작용과 높은 파라미터 수를 가진 더 큰 교차 인코더가 도메인 간으로 일반화하는 데 훨씬 더 뛰어나다는 것을 입증한다. 이 연구는 BEIR 벤치마크에서 최신 기술의 양방향 인코더를 평균 4점 이상 뛰어넘는다. 또한, 교차 인코더 재랭킹 이후에 이어지는 밀도 기반 검색의 첫 단계로 사용할 경우, BM25보다도 유의미한 이점이 없다는 것을 보여준다.

ABSTRACT

Bi-encoders and cross-encoders are widely used in many state-of-the-art retrieval pipelines. In this work we study the generalization ability of these two types of architectures on a wide range of parameter count on both in-domain and out-of-domain scenarios. We find that the number of parameters and early query-document interactions of cross-encoders play a significant role in the generalization ability of retrieval models. Our experiments show that increasing model size results in marginal gains on in-domain test sets, but much larger gains in new domains never seen during fine-tuning. Furthermore, we show that cross-encoders largely outperform bi-encoders of similar size in several tasks. In the BEIR benchmark, our largest cross-encoder surpasses a state-of-the-art bi-encoder by more than 4 average points. Finally, we show that using bi-encoders as first-stage retrievers provides no gains in comparison to a simpler retriever such as BM25 on out-of-domain tasks. The code is available at https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git

연구 동기 및 목표

• 다양한 모델 크기와 도메인에서 교차 인코더와 양방향 인코더의 제로샷 일반화 성능을 평가하기 위해.
• 모델 크기를 늘일 경우, 도메인 외부 검색 시나리오에서 일반화 능력이 향상되는지 조사하기 위해.
• 교차 인코더 재랭킹 이후에 이어지는 첫 단계로 양방향 인코더를 사용할 경우, BM25와 같은 간단한 방법보다 성능상의 이점이 있는지 평가하기 위해.
• 교차 인코더 일반화에 있어 초기 질의-문서 상호작용과 히든 차원 스케일링의 역할을 규명하기 위해.

제안 방법

• BEIR 벤치마크에서 60M에서 5.8B 파라미터에 이르는 광범위한 모델 크기의 교차 인코더와 양방향 인코더를 훈련 및 평가하기 위해.
• 재랭킹기로 monoT5 기반 교차 인코더를 사용하고, GTR 및 SGPT와 같은 양방향 인코더와 22개의 검색 작업에서 비교하기 위해.
• 微fine-tuning 없이 도메인 외부 데이터셋, 즉 TREC-COVID, Natural Questions, FEVER에서 제로샷 효과성을 평가하기 위해.
• BM25와 GTR-335M를 첫 단계 검색으로 사용하고, 그 후 monoT5-220M 재랭킹을 수행하여, 초기 검색 품질에 미치는 영향을 평가하기 위해.
• 파라미터 수가 증가함에 따라 히든 차원 스케일링(예: 768에서 4096으로)이 모델 일반화에 미치는 영향 분석하기 위해.
• 다양한 도메인에서 nDCG@10과 MRR@10을 측정하며, MS MARCO는 제외한다.

실험 결과

연구 질문

• RQ1 모델 크기가 다양한 도메인에서 교차 인코더와 양방향 인코더의 제로샷 일반화에 어떤 영향을 미치는가?
• RQ2 교차 인코더에서의 초기 질의-문서 상호작용이 양방향 인코더에 비해 도메인 외부 성능 향상에 기여하는가?
• RQ3 교차 인코더 재랭킹 이후에 이어지는 다단계 검색 파이프라인에서, 밀도 기반 검색기(양방향 인코더)가 BM25와 같은 희박한 방법보다 성능을 뛰어넘을 수 있는가?
• RQ4 모델 크기를 늘일 경우, 도메인 내에서는 경미한 성능 향상이지만, 도메인 외부 일반화에서는 교차 인코더에서 상당한 성능 향상이 이루어지는가?
• RQ5 모델 크기 증가와 함께 히든 차원 스케일링이 교차 인코더의 제로샷 효과성에 얼마나 기여하는가?

주요 결과

• 모델 크기를 늘일 경우, 도메인 내에서는 경미한 성능 향상이지만, 도메인 외부 일반화에서는 교차 인코더에서 상당한 향상이 이루어진다.
• 가장 큰 교차 인코더(5.8B 파라미터)는 BEIR 벤치마크에서 최신 기술의 양방향 인코더를 평균 4점 이상 뛰어넘는다.
• 초기 질의-문서 상호작용과 높은 히든 차원(예: 4096)을 가진 교차 인코더는 고정된 768 차원을 가진 것보다 훨씬 뛰어난 제로샷 성능을 보인다.
• 교차 인코더 재랭킹 이후에 이어지는 첫 단계로 GTR와 같은 양방향 인코더를 사용할 경우, BM25보다 성능상의 이점이 없다.
• 초기 검색 방법에 관계없이 교차 인코더의 효과성은 높은 편을 유지한다. 이는 다단계 파이프라인에서 재랭킹 품질이 주요 요소임을 시사한다.
• 법률, 의료, 과학 텍스트를 포함한 모든 테스트 도메인에서 교차 인코더는 유사 크기의 양방향 인코더를 능가하며, 이는 그들의 뛰어난 일반화 능력을 확인한다.