[논문 리뷰] Understanding the Behaviors of BERT in Ranking

Yifan Qiao, Chenyan Xiong외 2명|arXiv (Cornell University)|2019. 04. 16.

Topic Modeling참고 문헌 8인용 수 146

한 줄 요약

이 논문은 BERT 기반 랭커가 MS MARCO 경로 랭킹과 TREC Web Track ad hoc 랭킹에서 어떻게 수행되는지 분석하고, 교차 질의 상호작용으로 인해 MS MARCO에서 강한 향상을 보이는 반면 TREC 스타일 랭킹에서는 향상이 더 약하다는 점을 보여주며, 또한 BERT의 주의 패턴과 용어 매칭 동작을 조사한다.

ABSTRACT

This paper studies the performances and behaviors of BERT in ranking tasks. We explore several different ways to leverage the pre-trained BERT and fine-tune it on two ranking tasks: MS MARCO passage reranking and TREC Web Track ad hoc document ranking. Experimental results on MS MARCO demonstrate the strong effectiveness of BERT in question-answering focused passage ranking tasks, as well as the fact that BERT is a strong interaction-based seq2seq matching model. Experimental results on TREC show the gaps between the BERT pre-trained on surrounding contexts and the needs of ad hoc document ranking. Analyses illustrate how BERT allocates its attentions between query-document tokens in its Transformer layers, how it prefers semantic matches between paraphrase tokens, and how that differs with the soft match patterns learned by a click-trained neural ranker.

연구 동기 및 목표

• 사전 학습된 BERT를 랭킹 작업에 어떻게 활용할 수 있는지와 벤치마크 전반에서의 효과를 조사한다.
• 표현 기반 대 상호작용 기반의 BERT 랭킹 설정을 비교한다.
• 랭킹 중 BERT의 주의 분포와 용어 매칭 동작을 분석한다.
• 왜 BERT가 MS MARCO에서 뛰어나지만 TREC ad hoc 랭킹에서는 그다지 강하지 않은지 그 이유를 설명한다.

제안 방법

• MS MARCO 및 ClueWeb 데이터를 대상으로 네 가지 BERT 기반 랭킹 모델(BERT Rep, Last-Int, Mult-Int, Term-Trans)을 미세조정한다.
• 사전 학습된 BERT-Large를 백본으로 사용하고 관련성 분류를 위해 엔드-투-엔드 미세조정한다.
• CLS 임베딩을 사용해 q, d, 또는 qd 시퀀스를 표현하고 선형 또는 교차 주의 기반 점수화를 사용한다.
• 표준 IR 지표로 MS MARCO 및 ClueWeb에서 BM25, LeToR, K-NRM, Conv-KNRM 기반선과 비교 평가한다.
• BERT가 무엇에 주의를 기울이고 어떻게 용어를 매칭하는지 이해하기 위해 주의 분포와 용어 매칭 동작을 분석한다.

실험 결과

연구 질문

• RQ1 다양한 BERT 기반 랭킹 구성(Rep, Last-Int, Mult-Int, Term-Trans)이 MS MARCO passage ranking과 TREC Web Track ad hoc ranking에서 어떻게 수행되는가?
• RQ2 BERT의 교차 질의-문서 상호작용이 랭킹 성능을 어느 정도 이끄는가?
• RQ3 BERT의 주의 패턴과 영향력 있는 용어가 전통적 신경 랭커 및 사용자 클릭 기반의 사전 학습 신호와 어떻게 다른가?
• RQ4 왜 BERT가 MS MARCO에서 뛰어나지만 TREC ad hoc 작업에서는 그다지 뛰어나지 않으며, 각 설정에 더 효과적인 신호는 무엇인가?

주요 결과

• BERT 기반 랭커는 MS MARCO 성능을 크게 향상시키며, 상호작용 기반 변형(Last-Int, Mult-Int, Term-Trans)이 초기 모델보다 우수하고 강력한 교차-질의-문단 상호작용이 이득을 주도한다.
• BERT (Rep), q와 d를 따로 취급하는 경우는 MS MARCO에서 거의 무작위에 가깝게 작동하여 랭킹에서 교차 시퀀스 상호작용의 중요성을 강조한다.
• ClueWeb/TREC ad hoc 작업에서 BERT 기반 랭커는 특징 기반 LeToR 또는 Bing 클릭 사전 학습 모델(Conv-KNRM Bing)보다 성능이 뒤처지며, MARCO 사전 학습 신호는 ad hoc 랭킹으로의 전이에서 그다지 효과적이지 않다.
• BERT는 마커([CLS], [SEP])에 더 많이 주의를 기울이고 불용어에는 덜 주의를 기울이며, 네트워크의 깊이가 깊어질수록 주의가 더 분산되고, 마커가 시퀀스를 구분하는 데 결정적이다.
• BERT(Last-Int)의 영향력 있는 용어는 종종 쿼리의 정확 매칭 또는 근사 표현으로, Conv-KNRM은 더 느슨한 의미적 연관에 의존한다.
• 주변 맥락에 대한 BERT의 사전 학습은 의미상 가까운 텍스트 쌍을 선호하여 seq2seq 스타일 랭킹과 잘 맞지만, ad hoc 랭킹은 사용자 클릭 기반의 사전 학습 신호에서 더 큰 이점을 얻는다.