[논문 리뷰] Pretrained Transformers for Text Ranking: BERT and Beyond

Jimmy Lin, Rodrigo Nogueira외 1명|arXiv (Cornell University)|2020. 10. 13.

Topic Modeling참고 문헌 320인용 수 107

한 줄 요약

사전 학습된 트랜스포머 모델, 특히 BERT를 텍스트 랭킹에 적용하는 조사로, 재랭킹과 밀집 검색, 장문 처리, 효율성 트레이드오프, 그리고 향후 방향을 다룬다.

ABSTRACT

The goal of text ranking is to generate an ordered list of texts retrieved from a corpus in response to a query. Although the most common formulation of text ranking is search, instances of the task can also be found in many natural language processing applications. This survey provides an overview of text ranking with neural network architectures known as transformers, of which BERT is the best-known example. The combination of transformers and self-supervised pretraining has been responsible for a paradigm shift in natural language processing (NLP), information retrieval (IR), and beyond. In this survey, we provide a synthesis of existing work as a single point of entry for practitioners who wish to gain a better understanding of how to apply transformers to text ranking problems and researchers who wish to pursue work in this area. We cover a wide range of modern techniques, grouped into two high-level categories: transformer models that perform reranking in multi-stage architectures and dense retrieval techniques that perform ranking directly. There are two themes that pervade our survey: techniques for handling long documents, beyond typical sentence-by-sentence processing in NLP, and techniques for addressing the tradeoff between effectiveness (i.e., result quality) and efficiency (e.g., query latency, model and index size). Although transformer architectures and pretraining techniques are recent innovations, many aspects of how they are applied to text ranking are relatively well understood and represent mature techniques. However, there remain many open research questions, and thus in addition to laying out the foundations of pretrained transformers for text ranking, this survey also attempts to prognosticate where the field is heading.

연구 동기 및 목표

• 프랭크처럼 트랜스포머가 텍스트 랭킹에 어떻게 적용되는지 실무자와 연구자를 위해 종합한다.
• 기술을 다단계 재랭킹과 밀집 검색 접근 방식으로 범주화한다.
• 긴 문서 처리 방법과 효과성 및 효율성 간의 트레이드오프를 강조한다.
• 현재 상태를 조사하고 남아 있는 연구 질문과 향후 방향을 식별한다.

제안 방법

• 트랜스포머를 이용한 재랭킹의 다단계 아키텍처를 설명한다(예: monoBERT, Birch, PARADE, CEDR).
• 트랜스포머 바이 인코더를 이용한 밀집 검색(예: DPR, ANCE) 및 지연 상호작용 모델(예: ColBERT) 논의한다.
• 지식 증류 및 모델 변형(예: TK, TKL, CK, monoT5)을 다룬다.
• 쿼리/문서 확장 및 재가중 기법(doc2query, DeepCT, HDCT, CEQE)을 설명한다.
• 장문 처리 및 효율성 고려사항(지연 시간, 인덱스 크기) 및 실용적 배치 이슈를 다룬다.

실험 결과

연구 질문

• RQ1 사전 학습된 트랜스포머를 도메인 간 텍스트 랭킹 작업에 어떻게 효과적으로 적용할 수 있는가?
• RQ2 랭킹에 대한 트랜스포머의 제약 내에서 긴 문서를 가장 잘 다루는 전략은 무엇인가?
• RQ3 트랜스포머 기반 시스템에서 랭킹 효과성과 효율성 사이의 트레이드오프는 무엇인가?
• RQ4 트랜스포머를 텍스트 랭킹에 적용하는 데 남아 있는 연구 질문은 무엇인가?

주요 결과

• 트랜스포머 기반 모델은 텍스트 랭킹 분야의 다양한 도메인과 작업에서 높은 품질의 결과를 제공한다.
• BERT는 관련성 분류에서 강력한 성능을 가능하게 하며 재랭킹 아키텍처의 기초로서 역할을 한다.
• 장문 처리와 정확도 간의 균형 및 대기 시간 및 인덱스 크기에 대한 효과적인 전략이 존재한다.
• 밀집 표현과 근접 이웃 검색은 일부 설정에서 직접적이고 단일 단계의 랭킹을 가능하게 한다.
• 변형 및 증류 기술은 트랜스포머의 강점을 활용하면서도 서로 다른 효율성-효과성 트레이드오프를 제공한다.
• 이 분야는 핵심 기술이 성숙하였으나 여전히 해결해야 할 연구 질문과 향후 방향이 존재한다.