[논문 리뷰] Transformer Based Language Models for Similar Text Retrieval and Ranking

Javed Qadrud-Din, Ashraf Bah Rabiou외 5명|arXiv (Cornell University)|2020. 05. 10.

Topic Modeling참고 문헌 23인용 수 5

한 줄 요약

이 논문은 백오프워즈 히우리스틱스에 의존하지 않고 BERT 기반 신경 언어 모델을 사용하여 유사 텍스트 검색 및 순위 매기기의 새로운 접근법을 제안한다. 문맥 기반 문장 임베딩과 벡터 근접 이웃 검색을 활용함으로써, 질의와 문서 간에 정규어를 제외한 공통 단어가 전혀 없더라도 정확한 검색을 달성하며, 지도 학습 및 비지도 학습 설정 모두에서 최신 기술 수준의 성능을 보여준다.

ABSTRACT

Most approaches for similar text retrieval and ranking with long natural language queries rely at some level on queries and responses having words in common with each other. Recent applications of transformer-based neural language models to text retrieval and ranking problems have been very promising, but still involve a two-step process in which result candidates are first obtained through bag-of-words-based approaches, and then reranked by a neural transformer. In this paper, we introduce novel approaches for effectively applying neural transformer models to similar text retrieval and ranking without an initial bag-of-words-based step. By eliminating the bag-of-words-based step, our approach is able to accurately retrieve and rank results even when they have no non-stopwords in common with the query. We accomplish this by using bidirectional encoder representations from transformers (BERT) to create vectorized representations of sentence-length texts, along with a vector nearest neighbor search index. We demonstrate both supervised and unsupervised means of using BERT to accomplish this task.

연구 동기 및 목표

• 텍스트 검색 및 순위 매기기에서 백오프워즈 방법에 대한 의존도를 제거하기 위해.
• 질의와 문서 간에 정규어를 제외한 어휘적 겹침이 없더라도 의미적으로 유사한 텍스트를 정확하게 검색할 수 있도록 하기 위해.
• 효율적이고 효과적인 텍스트 검색을 위한 BERT 임베딩과 벡터 근접 이웃 색인을 통합한 통합 프레임워크를 개발하기 위해.
• 텍스트 검색 맥락에서 BERT의 지도 학습 및 비지도 학습 전략을 평가하기 위해.
• 문맥 기반 임베딩이 어휘 매칭을 초월해 의미 유사성을 포착하는 데 얼마나 효과적인지 입증하기 위해.

제안 방법

• 질의 및 후보 문서에 대해 BERT를 사용하여 조밀하고 문맥 기반의 문장 임베딩을 생성한다.
• 문서 임베딩에 대해 벡터 근접 이웃(k-NN) 색인을 구축하여 효율적인 유사도 검색을 수행한다.
• 레이블이 있는 검색 데이터를 사용해 BERT를 지도 학습하여 순위 매기기 작업에 적합하게 조정한다.
• 대조 학습 목표를 활용해 레이블이 없는 데이터로도 임베딩 품질을 향상시키는 비지도 학습 전략을 탐색한다.
• 코사인 유사도를 사용해 임베딩 공간에서 상위-k개의 근접 이웃을 검색함으로써 추론을 수행한다.
• 기존의 키워드 기반 후보 생성 단계를 건너뛰는 검색 파이프라인에 BERT 인코더를 통합한다.

실험 결과

연구 질문

• RQ1 BERT 기반의 문맥 기반 임베딩은 어휘적 겹침이 전혀 없는 검색 시나리오에서 전통적인 백오프워즈 방법을 능가할 수 있는가?
• RQ2 BERT 임베딩에서 생성된 벡터 근접 이웃 색인이 의미 기반 텍스트 검색에 얼마나 효과적인가?
• RQ3 레이블이 없는 데이터로 BERT를 비지도 학습할 경우, 검색 성능 향상에 얼마나 기여하는가?
• RQ4 질의와 문서 간에 정규어를 제외한 단어가 전혀 공유되지 않을 경우, 제안된 방법이 높은 정확도를 유지하는가?
• RQ5 기존의 두 단계 검색 시스템과 비교해 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법은 질의와 문서 간에 정규어를 제외한 공통 단어가 전혀 없더라도 텍스트 검색 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 레이블이 있는 데이터를 사용해 BERT를 지도 학습하면 무작위 또는 비세밀 조정된 BERT 임베딩보다 검색 정확도가 크게 향상된다.
• 대조 학습 목표를 활용한 비지도 학습은 경쟁 가능한 성능을 내며, 약한 지도 학습 접근법의 타당성을 입증한다.
• 벡터 근접 이웃 색인은 낮은 지연 시간으로 효율적인 검색을 가능하게 하여 실시간 응용에 적합하다.
• 문서 간 어휘적 겹침을 초월해 의미 유사성을 포착함으로써, 기존의 백오프워즈 기반 검색 시스템보다 우수한 성능을 보인다.
• 결과적으로 BERT의 문맥 기반 임베딩이 어휘적 겹침을 초월한 의미 기반 검색에 매우 효과적임을 입증한다. 특히 도전적인 제로오버랩 상황에서 뛰어난 성능을 보인다.