[논문 리뷰] Multi-Stage Document Ranking with BERT

Rodrigo Nogueira, Wei Yang외 2명|arXiv (Cornell University)|2019. 10. 31.

Topic Modeling참고 문헌 42인용 수 199

한 줄 요약

논문은 세 단계의 다단계 랭킹 아키텍처에서 문서 랭킹의 효과성과 지연 시간을 균형 있게 달성하기 위해 monoBERT (pointwise)와 duoBERT (pairwise)를 제안하며, MS MARCO와 TREC CAR에서 이를 시연한다.

ABSTRACT

The advent of deep neural networks pre-trained via language modeling tasks has spurred a number of successful applications in natural language processing. This work explores one such popular model, BERT, in the context of document ranking. We propose two variants, called monoBERT and duoBERT, that formulate the ranking problem as pointwise and pairwise classification, respectively. These two models are arranged in a multi-stage ranking architecture to form an end-to-end search system. One major advantage of this design is the ability to trade off quality against latency by controlling the admission of candidates into each pipeline stage, and by doing so, we are able to find operating points that offer a good balance between these two competing metrics. On two large-scale datasets, MS MARCO and TREC CAR, experiments show that our model produces results that are either at or comparable to the state of the art. Ablation studies show the contributions of each component and characterize the latency/quality tradeoff space.

연구 동기 및 목표

• 다단계 파이프라인에서 BERT 기반 재랭커를 활용한 엔드투엔드 문서 랭킹의 동기 부여와 가능화.
• H1과 H2로서 monoBERT (pointwise)와 duoBERT (pairwise)를 도입.
• 생산형 시스템에서 후보 수용(candidate admission) 및 단계별 처리의 질과 지연 시간의 트레이드오프를 보여준다.
• MS MARCO와 TREC CAR에서 BM25 기준선 대비 개선을 시연한다.
• ablation을 통해 구성 요소의 기여를 분석하고 지연–품질 트레이드오프를 특징짓는다.]
• method':['H0 (BM25 bag-of-words 검색), H1 (monoBERT 이진 관련성 분류기), H2 (duoBERT 페어와이 재랭커)로 구성된 세 단계 랭킹 아키텍처.','monoBERT는 질의와 후보로부터 CLS 임베딩을 사용하여 관련성 확률 s_i를 출력; 상위 k1 후보가 유지된다.','duoBERT는 질의, 후보 i, 후보 j를 입력으로 받아 페어와이 관련성 p_{i,j}를 출력; Sum/Binary/Min/Max/Sample으로 p_{i,j}를 집계하여 최종 s_i를 얻는다.','사전 학습: 초기 일반 BERT 사전 학습, 그다음 작업 코퍼스에서의 대상 말뭉치 사전 학습(TCP) (MS MARCO 또는 CAR용 Wikipedia 하위집합).','학습: TPU v3, 관련/비관련 구절의 균형 배치, monoBERT에 교차 엔트로피 손실, duoBERT에 페어와이 손실; MS MARCO와 CAR 데이터셋에서 파인튜닝.']
• research_questions':['다단계 파이프라인에서 monoBERT와 duoBERT가 BM25 기준선보다 랭킹 효과를 향상시킬 수 있는가?','monoBERT/duoBERT 파이프라인에서 k0(H0 입력 후보)과 k1(H1 출력)을 바꿀 때 지연–품질 트레이드오프는 어떠한가?','대상 코퍼스 사전 학습(TCP)이 신경망 랭킹에서 BERT의 도메인 밖 사전 학습 대비 성능을 향상시키는가?','다양한 집계 방법(Sum, Binary, Min, Max, Sample)이 duoBERT의 최종 랭킹에 어떤 영향을 미치는가?','MS MARCO 대 TREC CAR에서 monoBERT와 duoBERT의 성과는 어떠하며 데이터셋에 따라 얻는 이점이 왜 다른가?]
• key_findings':['monoBERT는 MS MARCO와 CAR에서 BM25 기준선을 현저히 능가한다.','Sum 또는 Binary 집계가 있는 duoBERT를 추가하면 두 데이터셋에서 monoBERT 단독보다 추가 이득이 생긴다.','Max 집계 방법은 성능이 떨어져 버려지며 제거된다; Sum과 Binary가 각각 MS MARCO와 CAR에서 가장 큰 이득을 제공합니다.','대상 코퍼스 사전 학습(TCP)이 MS MARCO에서 MRR@10을 약 0.8점 추가로 향상시킨다.','본 접근법은 MS MARCO와 CAR 데이터셋에서 최첨단 수준의 결과에 근접하거나 이를 상회하며, 명확한 지연–품질 트레이드오프를 시연한다.]
• table_headers':['방법','개발','평가']
• table_rows':[[

제안 방법

• H0 (BM25 bag-of-words 검색), H1 (monoBERT 이진 관련성 분류기), H2 (duoBERT 페어와이 재랭커)로 구성된 세 단계 랭킹 아키텍처.
• monoBERT는 질의와 후보로부터 CLS 임베딩을 사용하여 관련성 확률 s_i를 출력; 상위 k1 후보가 유지된다.
• duoBERT는 질의, 후보 i, 후보 j를 입력으로 받아 페어와이 관련성 p_{i,j}를 출력; Sum/Binary/Min/Max/Sample으로 p_{i,j}를 집계하여 최종 s_i를 얻는다.
• 사전 학습: 초기 일반 BERT 사전 학습, 그다음 작업 코퍼스에서의 대상 말뭉치 사전 학습(TCP) (MS MARCO 또는 CAR용 Wikipedia 하위집합).
• 학습: TPU v3, 관련/비관련 구절의 균형 배치, monoBERT에 교차 엔트로피 손실, duoBERT에 페어와이 손실; MS MARCO와 CAR 데이터셋에서 파인튜닝.

실험 결과

연구 질문

• RQ1 다단계 파이프라인에서 monoBERT와 duoBERT가 BM25 기준선보다 랭킹 효과를 향상시킬 수 있는가?
• RQ2 monoBERT/duoBERT 파이프라인에서 k0(H0 입력 후보)과 k1(H1 출력)을 바꿀 때 지연–품질 트레이드오프는 어떠한가?
• RQ3 대상 코퍼스 사전 학습(TCP)이 신경망 랭킹에서 BERT의 도메인 밖 사전 학습 대비 성능을 향상시키는가?
• RQ4 다양한 집계 방법(Sum, Binary, Min, Max, Sample)이 duoBERT의 최종 랭킹에 어떤 영향을 미치는가?
• RQ5 MS MARCO 대 TREC CAR에서 monoBERT와 duoBERT의 성과는 어떠하며 데이터셋에 따라 얻는 이점이 왜 다른가?]
• RQ6 key_findings':['monoBERT는 BM25 기준선을 현저히 능가한다.','Sum 또는 Binary 집계가 있는 duoBERT를 추가하면 두 데이터셋에서 monoBERT 단독보다 추가 이득이 생긴다.','Max 집계 방법은 성능이 떨어져 버려지며 제거된다; Sum과 Binary가 각각 MS MARCO와 CAR에서 가장 큰 이득을 제공합니다.','대상 코퍼스 사전 학습(TCP)이 MS MARCO에서 MRR@10을 약 0.8점 추가로 향상시킨다.','본 접근법은 MS MARCO와 CAR 데이터셋에서 최첨단 수준의 결과에 근접하거나 이를 상회하며, 명확한 지연–품질 트레이드오프를 시연한다.]
• RQ7 table_headers_translated':['방법','개발','평가']
• RQ8 table_rows_converted1':['BM25 (Microsoft Baseline)', '16.7', '16.5'],['IRNet', '27.8', '28.1'],['monoBERT (Jan 2019)', '36.5', '35.9'],['Anserini (BM25)', '18.7', '19.0'],['+ monoBERT', '37.2', '36.5'],['+ monoBERT + duoBERT Max', '32.6', '-'],['+ monoBERT + duoBERT Min', '37.9', '-'],['+ monoBERT + duoBERT Sum', '38.2', '37.0'],['+ monoBERT + duoBERT Binary', '38.3', '-'],['+ monoBERT + duoBERT Sum + TCP', '39.0', '37.9'],['Leaderboard best', '39.7', '38.3']]} } 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0'],
• RQ9 table_rows_converted2