[논문 리뷰] Learning To Retrieve: How to Train a Dense Retrieval Model Effectively and Efficiently

Jingtao Zhan, Jiaxin Mao외 3명|arXiv (Cornell University)|2020. 10. 20.

Topic Modeling참고 문헌 42인용 수 14

한 줄 요약

이 논문은 밀도 있는 검색 모델을 위한 새로운 학습 방법인 Learning To Retrieve(LTRe)를 제안한다. 이 방법은 부정 샘플링에 의존하는 대신 훈련 중에 전체 코퍼스 검색을 수행함으로써 효과성과 효율성을 향상시킨다. LTRe는 이전 최고 성능 기법 대비 170배 이상 빠른 훈련 속도를 달성하며, 정밀도와 효율성 면에서 밀도 있는 기반 모델과 희박한 기반 모델을 모두 뛰어넘는 성능을 보이며, 지연 시간 제약 조건 하에서도 BM25-BERT 캐스케이드 시스템을 초월한다.

ABSTRACT

Ranking has always been one of the top concerns in information retrieval research. For decades, lexical matching signal has dominated the ad-hoc retrieval process, but it also has inherent defects, such as the vocabulary mismatch problem. Recently, Dense Retrieval (DR) technique has been proposed to alleviate these limitations by capturing the deep semantic relationship between queries and documents. The training of most existing Dense Retrieval models relies on sampling negative instances from the corpus to optimize a pairwise loss function. Through investigation, we find that this kind of training strategy is biased and fails to optimize full retrieval performance effectively and efficiently. To solve this problem, we propose a Learning To Retrieve (LTRe) training technique. LTRe constructs the document index beforehand. At each training iteration, it performs full retrieval without negative sampling and then updates the query representation model parameters. Through this process, it teaches the DR model how to retrieve relevant documents from the entire corpus instead of how to rerank a potentially biased sample of documents. Experiments in both passage retrieval and document retrieval tasks show that: 1) in terms of effectiveness, LTRe significantly outperforms all competitive sparse and dense baselines. It even gains better performance than the BM25-BERT cascade system under reasonable latency constraints. 2) in terms of training efficiency, compared with the previous state-of-the-art DR method, LTRe provides more than 170x speed-up in the training process. Training with a compressed index further saves computing resources with minor performance loss.

연구 동기 및 목표

• 밀도 있는 검색 모델에서 훈련(샘플링된 부정 예측)과 추론(전체 코퍼스에서 검색) 사이의 괴리 문제를 해결하기 위해.
• 모델이 훈련 시 샘플링된 편향된 예측만 재정렬하는 것이 아니라, 전체 코퍼스에서 관련 문서를 검색하도록 가르쳐 검색 효과성을 향상시키기 위해.
• 대규모 코퍼스를 대상으로 한 훈련 효율성을 향상시켜 훈련 시간과 GPU 자원 소비를 줄이기 위해.
• 압축 인덱스를 사용하여 성능 저하 없이 메모리 사용량을 추가로 줄일 수 있는지 조사하기 위해.
• 훈련과 추론 단계에서 검색 범위를 일치시켜 일관성을 확보하기 위해.

제안 방법

• LTRe는 고정된 사전 훈련된 문서 인코더를 사용해 모든 문서를 사전에 인코딩하고, 이를 벡터 인덱스에 저장한다.
• 각 훈련 단계에서 쿼리 인코더는 배치된 쿼리 표현을 생성하며, 이를 사용해 전체 인덱스된 코퍼스에서 전체 검색을 수행한다.
• 모델 파라미터는 전체 검색 결과를 기반으로 업데이트되며, 이는 모델이 전체 코퍼스에서 관련 문서를 검색하도록 직접 최적화하는 데 기여한다.
• 부정 샘플링을 피하기 위해 전체 검색을 주요 최적화 신호로 간주함으로써, 훈련과 추론 간의 일치를 보장한다.
• LTRe는 FAISS와 같은 압축 인덱스(예: 양자화)를 지원하여 GPU 메모리 사용량을 줄이며, 제한된 하드웨어 환경에서도 대규모 코퍼스에서 훈련이 가능하도록 한다.
• 훈련 과정은 확장 가능하도록 설계되었으며, 전체 검색 연산은 코퍼스 크기와 비례하여 선형 이하의 시간 복잡도를 가진다.

실험 결과

연구 질문

• RQ1 전체 코퍼스 검색을 훈련에 사용할 경우, 샘플링된 부정 예측을 사용할 경우보다 더 우수한 일반화 성능을 달성하는가?
• RQ2 기존의 희박한 기반 및 밀도 있는 기반 모델 대비, 훈련 중 전체 검색을 수행할 경우 검색 효과성이 크게 향상되는가?
• RQ3 대규모 코퍼스에서 ANCE와 같은 최고 수준의 기법과 비교해 LTRe의 훈련 효율성은 어떠한가?
• RQ4 성능 저하 없이 LTRe 훈련에서 압축 인덱스를 얼마나 넓게 사용할 수 있는가?
• RQ5 훈련과 추론에서 검색 범위의 일관성이 모델 성능에 있어 필수적인가?

주요 결과

• TREC 2019 문단 검색 작업에서 LTRe는 이전 최고 수준 기법인 ANCE 대비 훈련 시간을 170배 빠르게 달성했다.
• TREC 2019 문서 검색 작업에서 LTRe는 BM25-BERT 캐스케이드 시스템 포함 모든 경쟁적인 희박 및 밀도 있는 기반 모델을 지연 시간 제약 조건 하에서도 뛰어넘는 성능을 보였다.
• n=96인 압축 인덱스를 사용할 경우 GPU 메모리 사용량이 압축되지 않은 버전의 3%로 줄어들었고, 성능은 거의 동일하게 유지되었다(2019 TREC에서 MRR@10은 0.656 vs. 0.654).
• 매우 강한 압축 인덱스(n=12)를 사용할 경우 메모리 사용량이 0.6%로 줄어들었고, ANCE를 제외한 모든 기반 모델을 뛰어넘는 성능을 보였다. 이는 뛰어난 자원 효율성을 보여준다.
• 과도한 압축(n=6)은 무작위 부정 샘플링과 유사한 성능 저하를 초래하여, 인덱스 품질의 중요성을 입증한다.
• 훈련과 추론에 동일한 인덱스를 사용할 경우 최고의 성능를 달성했으며, 이는 검색 범위 일관성의 중요성을 확인한다.