[논문 리뷰] DynamicRetriever: A Pre-training Model-based IR System with Neither Sparse nor Dense Index

Yujia Zhou, Jing Yao외 3명|arXiv (Cornell University)|2022. 03. 01.

Information Retrieval and Search Behavior인용 수 10

한 줄 요약

DynamicRetriever는 기존의 스퍼스 및 디ensa 인덱스를 대체하는 통합 언어 모델을 기반으로 한 새로운 사전 훈련 모델 기반의 정보 검색 시스템을 제안한다. 이 시스템은 DocID 디코더를 통해 쿼리에 대해 직접 문서 ID를 생성하며, MS MARCO에서 최신 기술 수준의 성능을 달성하여, 명시적인 인덱스 구조 없이 모델이 학습한 문서 인덱싱의 효과성을 입증한다.

ABSTRACT

Web search provides a promising way for people to obtain information and has been extensively studied. With the surgence of deep learning and large-scale pre-training techniques, various neural information retrieval models are proposed and they have demonstrated the power for improving search (especially, the ranking) quality. All these existing search methods follow a common paradigm, i.e. index-retrieve-rerank, where they first build an index of all documents based on document terms (i.e., sparse inverted index) or representation vectors (i.e., dense vector index), then retrieve and rerank retrieved documents based on similarity between the query and documents via ranking models. In this paper, we explore a new paradigm of information retrieval with neither sparse nor dense index but only a model. Specifically, we propose a pre-training model-based IR system called DynamicRetriever. As for this system, the training stage embeds the token-level and document-level information (especially, document identifiers) of the corpus into the model parameters, then the inference stage directly generates document identifiers for a given query. Compared with existing search methods, the model-based IR system has two advantages: i) it parameterizes the traditional static index with a pre-training model, which converts the document semantic mapping into a dynamic and updatable process; ii) with separate document identifiers, it captures both the term-level and document-level information for each document. Extensive experiments conducted on the public search benchmark MS MARCO verify the effectiveness and potential of our proposed new paradigm for information retrieval.

연구 동기 및 목표

• 정보 검색에서 정적 스퍼스 또는 디ensa 인덱스가 필요 없도록 하기 위해, 이를 학습된 모델 파rameter로 대체하는 것.
• 통합 사전 훈련된 모델을 통해 직접 문서 검색을 수행하는 새로운 정보 검색 패러다임을 탐색함으로써, 동적이고 업데이트 가능한 의미적 매핑을 가능하게 하는 것.
• 사전 훈련 기간 동안 토큰 수준, 문서 수준, 문서 식별자 수준의 표현을 공동으로 학습시켜 검색 성능을 향상시키는 것.
• 특히 분산 환경에서의 성능을 고려하여, 대규모 코퍼스에서 모델 기반 정보 검색 접근법의 확장성과 견고성을 평가하는 것.

제안 방법

• 모델은 쿼리 표현을 맥락에 맞게 생성하기 위해 사전 훈련된 언어 모델(PLM) 인코더를 사용한다.
• 문서 식별자 어휘를 갖는 전용 DocID 디코더가 쿼리 임베딩에서 직접 관련 문서를 예측하도록 학습된다.
• 모델는 다중 목적의 사전 훈련을 통해 마스킹된 언어 모델링, 문서 수준 재구성, 파assage 수준 재구성을 수행하여 문서 내용과 식별자를 모델 파rameter에 통합한다.
• 쿼리-문서 쌍을 사용하여 파인튜닝을 수행함으로써 쿼리 표현과 정확한 문서 ID 간의 정렬을 도모한다.
• 확장성을 확보하기 위해, 분산 모델 버전은 코퍼스를 그룹으로 나누고 각 그룹에 고유한 DocID 디코더를 할당하며, 점수 기반 랭킹을 통해 결과를 통합한다.
• 문서 ID를 학습 가능한 토큰으로 간주함으로써 전통적인 인덱스를 회피하고, 엔드 투 엔드 훈련 및 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 직접 문서 식별자를 예측할 수 있도록 함으로써, 스퍼스 및 디ensa 인덱스를 모두 대체할 수 있는가?
• RQ2 토큰 수준, 문서 수준, 문서 식별자 수준의 표현을 공동으로 학습시키는 것이 검색 성능에 어떤 영향을 미치는가?
• RQ3 사전 훈련 작업과 파인튜닝이 관련 문서를 검색하는 데 있어 모델의 능력에 어떤 영향을 미치는가?
• RQ4 모델은 대규모 코퍼스에 어떻게 확장되며, 분산 배포 시 발생하는 과제는 무엇인가?

주요 결과

• DynamicRetriever는 MS MARCO에서 Recall@20가 0.8861, MRR가 0.5728을 기록하며, 디ensa 검색 베이스라인 D-OverDense보다 MRR에서 최대 26.01% 향상되었다.
• 사전 훈련 단계를 생략할 경우 MRR가 99.66% 감소하여, 사전 훈련이 문서 의미와 식별자를 학습하는 데 필수적임을 확인하였다.
• 파인튜닝을 생략할 경우 MRR가 48.54% 감소하여, 쿼리-문서 쌍을 사용한 파인튜닝이 쿼리 및 문서 표현 간 정렬에 매우 중요함을 입증하였다.
• 분산 모델 버전은 Recall@20가 0.4724를 기록했지만, 그룹 간 점수 분포의 일관성 부족으로 인해 통합 후 성능이 크게 떨어졌다.
• 모델 기반 접근법은 정적 인덱스를 유지하지 않으면서도 동적이고 업데이트 가능한 문서 검색을 가능하게 하여, 정보 검색의 새로운 패러다임을 제시한다.