[논문 리뷰] Large Dual Encoders Are Generalizable Retrievers

Jianmo Ni, Chen Qu외 9명|arXiv (Cornell University)|2021. 12. 15.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 고정된 768차원 버블넥 레이어를 가진 대규모 듀얼 인코더인 일반화 가능한 T5 기반 밀집 검색기(GTR)를 제안한다. 20억 개의 커뮤니티 QA 쌍으로 다단계 사전 훈련하고, MS MARCO에서 미세조정하여 훈련한다. 고정된 내적곱 유사도에도 불구하고, 기저 모델에서 XXL(최대 5B 파라미터)으로 모델 크기를 확장함으로써 BEIR에서 zero-shot 도메인 외 일반화 성능이 크게 향상되었으며, GTR-XXL은 MS MARCO에서 최고 성능과 10%의 데이터 효율성을 기록했다.

ABSTRACT

It has been shown that dual encoders trained on one domain often fail to generalize to other domains for retrieval tasks. One widespread belief is that the bottleneck layer of a dual encoder, where the final score is simply a dot-product between a query vector and a passage vector, is too limited to make dual encoders an effective retrieval model for out-of-domain generalization. In this paper, we challenge this belief by scaling up the size of the dual encoder model {\em while keeping the bottleneck embedding size fixed.} With multi-stage training, surprisingly, scaling up the model size brings significant improvement on a variety of retrieval tasks, especially for out-of-domain generalization. Experimental results show that our dual encoders, extbf{G}eneralizable extbf{T}5-based dense extbf{R}etrievers (GTR), outperform %ColBERT~\cite{khattab2020colbert} and existing sparse and dense retrievers on the BEIR dataset~\cite{thakur2021beir} significantly. Most surprisingly, our ablation study finds that GTR is very data efficient, as it only needs 10\% of MS Marco supervised data to achieve the best out-of-domain performance. All the GTR models are released at https://tfhub.dev/google/collections/gtr/1.

연구 동기 및 목표

• 듀얼 인코더가 고정된 버블넥 레이어로 인해 도메인 외 일반화 능력이 제한된다는 널리 퍼진 믿음을 도전하기 위해.
• 버블넥 차원을 고정한 채로 듀얼 인코더의 모델 크기를 확장하면 검색 성능과 일반화 능력이 향상되는지 조사하기 위해.
• 커뮤니티 QA 데이터에서의 대규모 사전 훈련과 정제된 데이터셋에서의 미세조정이 zero-shot 일반화 능력을 향상시키는 데 효과적인지 평가하기 위해.
• 특히 인간이 애너테이션한 훈련 데이터의 양이 적을 경우, 최적의 도메인 외 성능를 달성할 수 있는지 데이터 효율성 평가하기 위해.

제안 방법

• T5 모델의 인코더 전용 아키텍처를 사용하여, 버블넥 차원을 768로 고정한 채로 2.5억에서 50억 파라미터까지 모델 크기를 확장했다.
• 다단계 훈련을 수행: 먼저 약 20억 개의 커뮤니티 질문-답변 쌍에서 사전 훈련하고, 그 다음 MS MARCO에서 밀집 검색을 위한 미세조정을 수행했다.
• 듀얼 인코더 설정에서 쿼리와 문서 트리거 간의 파라미터를 공유하여 파라미터 효율성과 일반화 능력을 향상시켰다.
• 추가 상호작용 레이어 없이 간단한 내적곱 유사도를 최종 점수 함수로 사용했다.
• MS MARCO를 제외한 9개 도메인에 걸친 18개 작업을 포함한 BEIR 벤치마크에서 zero-shot 성능을 평가했다.
• 사전 훈련, 미세조정, 데이터 효율성의 도메인 외 성능에 미치는 영향을 분석하기 위해 아블레이션 스터디를 수행했다.

실험 결과

연구 질문

• RQ1 버블넥 차원을 고정한 채로 듀얼 인코더 모델의 크기를 확장하면 다양한 검색 도메인에서 zero-shot 일반화 성능이 향상되는가?
• RQ2 다단계 사전 훈련과 미세조정을 거친 대규모 듀얼 인코더가 기존의 스퍼스 및 밀집 검색기보다 도메인 외 작업에서 뛰어난 성능을 내는가?
• RQ3 제안된 모델의 인간 애너테이션 훈련 데이터 효율성은 어떠한가? 특히 MS MARCO 데이터의 10%만을 사용할 경우 어떻게 되는가?
• RQ4 대규모 듀얼 인코더의 성능는 모델 용량에 더 의존하는가, 아니면 다중 벡터 또는 상호작용 레이어와 같은 아키텍처 혁신에 더 의존하는가?

주요 결과

• GTR-XXL은 BEIR 벤치마크에서 18개 검색 작업 전반에서 기존의 스퍼스 및 밀집 검색기들을 능가하는 최고 성능을 기록했다.
• 모델 크기를 확장함에 따라 도메인 외 일반화 능력이 일관되게 향상되었으며, 가장 큰 모델이 zero-shot 평가에서 가장 두드러진 성과를 보였다.
• 아블레이션 스터디 결과, GTR는 MS MARCO 훈련 데이터의 10%만으로도 최고의 도메인 외 성능를 달성할 수 있었으며, 이는 높은 데이터 효율성을 보여주었다.
• GTR-XXL 모델은 평균적으로 GTR-Base의 두 배 이상의 길이를 가진 문서를 검색했으며, 이는 Web-Touche2020과 같은 장문 문서 검색 작업에서 뛰어난 성능를 설명할 수 있다.
• 고정된 내적곱 유사도에도 불구하고, 더 복잡한 상호작용 메커니즘을 가진 모델보다 대규모 듀얼 인코더의 성능가 뛰어나지 않다는 점은 아키텍처의 필수성에 대한 기존의 가정을 도전한다.
• 추론 지연 시간은 GTR-Base의 17ms에서 GTR-XXL의 349ms로 증가했지만, 재랭킹 모델의 범위 내에 머물렀으며, 정규화나 희소성 기반 최적화를 통해 향후 개선이 가능할 것으로 보인다.