[논문 리뷰] Passage Re-ranking with BERT

Rodrigo Nogueira, Kyunghyun Cho|arXiv (Cornell University)|2019. 01. 13.

Topic Modeling참고 문헌 20인용 수 346

한 줄 요약

저자들은 쿼리 기반 검색을 위한 패시지 재랭커로 BERT를 재목적하고 BM25 후보 위에 BERT-LARGE를 미세조정하여 MS MARCO와 TREC-CAR에서 최첨단 성과를 달성한다.

ABSTRACT

Recently, neural models pretrained on a language modeling task, such as ELMo (Peters et al., 2017), OpenAI GPT (Radford et al., 2018), and BERT (Devlin et al., 2018), have achieved impressive results on various natural language processing tasks such as question-answering and natural language inference. In this paper, we describe a simple re-implementation of BERT for query-based passage re-ranking. Our system is the state of the art on the TREC-CAR dataset and the top entry in the leaderboard of the MS MARCO passage retrieval task, outperforming the previous state of the art by 27% (relative) in MRR@10. The code to reproduce our results is available at https://github.com/nyu-dl/dl4marco-bert

연구 동기 및 목표

• 주어진 쿼리에 대해 후보 패시지를 재랭킹하기 위해 BERT를 활용한다.
• MS MARCO 및 TREC-CAR에서 이전 신경 모델 및 전통 IR 방법에 비해 강력한 성능 향상을 보여준다.
• 간단한 크로스 엔트로피 목표로 사전 학습된 BERT 모델을 미세조정하는 것이 패시지의 높은 관련도 점수를 산출한다는 것을 보여준다.

제안 방법

• 쿼리를 문장 A로, 패시지를 문장 B로 간주하고 이를 BERT-LARGE 이진 분류기에 입력한다.
• 쿼리를 최대 64 토큰으로 자르고, [CLS], 쿼리, 패시지, 분리 토큰을 합친 전체를 512 토큰으로 자른다.
• BM25 상위 1000 후보에서 라벨이 부여된 쿼리-패시지 쌍에 대해 교차 엔트로피 손실로 사전 학습된 BERT-LARGE를 미세조정한다.
• 각 후보에 대해 패시지 관련도 확률을 독립적으로 계산하고 이 확률로 순위를 매긴다.
• TPU v3-8과 Adam 최적화기를 사용하고 학습률 워밍업 및 감소를 적용하여 MS MARCO 및 TREC-CAR에서 학습한다.
• 데이터의 일부만으로 학습해도 이전 SOTA 대비 강력한 성능 향상을 보여준다.

실험 결과

연구 질문

• RQ1 이진 관련도 분류기로 미세조정된 BERT-LARGE가 개방형 도메인 질의응답 데이터셋에서 패시지를 효과적으로 재랭킹할 수 있는가?
• RQ2 MS MARCO 및 TREC-CAR에서 전통적 BM25 기준선 및 기존 신경 모델에 비해 BERT 기반 재랭킹의 성능 향상은 어느 정도인가?
• RQ3 BERT 재랭커가 경쟁력 있거나 최첨단 결과에 도달하려면 얼마나 많은 학습 데이터가 필요한가?

주요 결과

방법	개발	평가	테스트
BM25 (Lucene, no tuning)	16.7	16.5	12.3
BM25 (Anserini, tuned)	-	-	15.3
Co-PACRR ⋆ (MacAvaney et al., 2017)	-	-	14.8
KNRM (Xiong et al., 2017)	21.8	19.8	-
Conv-KNRM (Dai et al., 2018)	29.0	27.1	-
IRNet †	27.8	28.1	-
BERT Base	34.7	-	31.0
BERT Large	36.5	35.8	33.5

• BERT-LARGE 재랭커가 MS MARCO 및 MS MARCO TREC-CAR 과제에서 최첨단 결과를 달성한다.
• MS MARCO에서 BERT-LARGE가 이전 SOTA(예: IR-NET)를 크게 상회하며 MRR@10에서 상당한 향상을 보인다.
• 100k 쿼리-패시지 쌍으로도 학습하면 이전 방법에 비해 큰 성능 향상을 얻는다.
• BM25로 상위 1000 후보를 생성할 때 BERT 재랭커는 BM25 및 다른 신경 모델과 같은 기준선보다 향상된다.
• 이 방법은 사용 가능한 데이터의 작은 부분(예: 100k 쌍)으로도 강한 결과를 제공한다.
• 저자들은 결과 재현을 위한 코드를 공개한다.