[논문 리뷰] Rethink Training of BERT Rerankers in Multi-Stage Retrieval Pipeline

Luyu Gao, Zhuyun Dai외 1명|arXiv (Cornell University)|2021. 01. 21.

Topic Modeling참고 문헌 16인용 수 8

한 줄 요약

이 논문은 다단계 검색 파이프라인에서 BERT 재순서자 훈련을 위한 국소화된 대비 추정(LCE)을 제안한다. 이 방법은 목표 검색기의 상위 결과에서 부정 예제를 샘플링하고, 과적합을 방지하기 위해 대비 손실을 사용함으로써 성능을 햖थ한다. LCE는 여러 검색기에서 MRR@100을 크게 향상시키며, MSMARCO에서 랭킹리스트에 40.5 MRR@100을 기록하여 최신 기준 성능을 달성했다.

ABSTRACT

Pre-trained deep language models~(LM) have advanced the state-of-the-art of text retrieval. Rerankers fine-tuned from deep LM estimates candidate relevance based on rich contextualized matching signals. Meanwhile, deep LMs can also be leveraged to improve search index, building retrievers with better recall. One would expect a straightforward combination of both in a pipeline to have additive performance gain. In this paper, we discover otherwise and that popular reranker cannot fully exploit the improved retrieval result. We, therefore, propose a Localized Contrastive Estimation (LCE) for training rerankers and demonstrate it significantly improves deep two-stage models.

연구 동기 및 목표

• 더 강력한 1단계 검색기에서 향상된 후보 목록을 제공함에도 표준 BERT 재순서자 훈련이 이를 충분히 활용하지 못하는 이유를 탐구하는 것.
• 고품질의 검색기에서 유도되는 어려운 부정 예제에 포함된 혼란 요소(feature)로 인해 재순서자가 붕괴되는 문제를 해결하는 것.
• 고성능 검색 파이프라인에서 재순서자의 강건성과 효과를 향상시키는 훈련 방법을 제안하는 것.
• 동일한 BERT 아키텍처를 사용할 때 더 나은 훈련 방법론이 더 복잡한 모델보다 뛰어난 성능을 낼 수 있음을 보여주는 것.

제안 방법

• LCE는 목표 1단계 검색기의 상위-m 결과에서만 부정 문서를 샘플링하여, 실제 후보 풀과 일치하는 부정 분포를 국소화한다 (예: HDCT 또는 BM25).
• 일부 긍정 및 여러 부정 문서-질의 쌍을 기반으로 정규화된 점수를 계산하는 대비 손실 함수를 적용하여 긍정 예제의 순위를 높이도록 유도한다.
• 손실 함수는 $\mathcal{L}_q = -\log \frac{\exp(dist(q,d^{+}_{q}))}{\sum_{d \in G_q} \exp(dist(q,d))}$ 로 정의되며, $G_q$ 는 목표 검색기의 상위 결과에서 온 하나의 긍정과 여러 부정 예제를 포함한다.
• 기존 방법과 동일한 BERT 모델을 사용하지만, 이진 교차 엔트로피 훈련 대신 국소화된 부정 예제를 기반으로 한 대비 학습으로 교체한다.
• 훈련 데이터는 목표 검색기의 출력에 따라 각 질의별로 재샘플링되어, 훈련 조건과 추론 조건 간의 일치를 보장한다.
• 이 방법은 모델 앙상블과 호환되며, 표준 미세조정 외에 추가적인 추론 또는 훈련 오버헤드를 유발하지 않는다.

실험 결과

연구 질문

• RQ1 강력한 1단계 검색기의 결과에 단순히 BERT 재순서자를 추가하는 것이 예상 성능 향상을 이끌지 못하는 이유는 무엇인가?
• RQ2 고품질 검색기에서 유도된 어려운 부정 예제에 포함된 혼란 요소가 표준 BERT 재순서자 훈련에 어떤 영향을 미치는가?
• RQ3 국소화된 부정 예제를 사용하는 대비 손실이 다단계 검색에서 재순서자의 일반화 능력과 강건성을 향상시키는가?
• RQ4 특히 목표 검색기의 출력에 국소화된 부정 샘플링 전략의 선택이 재순서자 성능에 영향을 미치는가?
• RQ5 동일한 BERT 모델을 사용할 때 더 나은 훈련 방법론이 모델 아키텍처 개선을 능가할 수 있는가?

주요 결과

• LCE는 테스트된 모든 1단계 검색기에서 MRR@100을 크게 향상시켰으며, MSMARCO 개발 세트에서 2.6에서 3.5 포인트의 성능 향상을 기록했다.
• MSMARCO 랭킹리스트에서 HDCT + LCE 앙상블 모델은 40.5 MRR@100을 기록하여 1위를 차지하고 새로운 최고 성능을 수립했다.
• LCE의 성능 향상은 1단계 검색기의 강도가 높을수록 커지며, 더 강력한 검색기가 유도하는 복잡한 어려운 부정 예제를 더 잘 다루는 것으로 나타났다.
• 목표 검색기의 상위 결과에 부정 예제를 국소화하는 것이 핵심이다. 약한 또는 관련 없는 검색기에서 부정 예제를 샘플링할 경우 성능이 급격히 떨어진다.
• LCE로 훈련된 재순서자들은 분포 이질성에 대해 더 강건하며, 훈련 검색기와 테스트 검색기가 다를 경우에도 더 잘 일반화된다.
• 다수의 부정 예제를 포함하는 대비 손실은 모델 붕괴를 방지하고, 특히 혼란 요소가 존재할 경우 분류 능력을 향상시킨다.