[논문 리뷰] IR-BERT: Leveraging BERT for Semantic Search in Background Linking for News Articles

Anup Anand Deshmukh, Udhav Sethi|arXiv (Cornell University)|2020. 07. 24.

Topic Modeling참고 문헌 14인용 수 11

한 줄 요약

이 논문은 BERT 기반 문장 임bedding를 사용하여 뉴스 기사의 배경 링크링을 위한 의미적 검색 방법인 IR-BERT를 제안한다. 기존의 BM25 방법에 비해 관련성을 향상시킨다. SBERT로부터 유도된 문맥적 표현을 활용함으로써 모델은 nDCG@5가 0.4199를 기록하여 TREC 2018의 중앙값(0.3448)과 2018년 최고 성능 모델(umass_cbrdm, 0.4173)을 모두 능가한다. 이는 문맥적 임bedding가 배경 관련 기사 검색에 효과적임을 보여준다.

ABSTRACT

This work describes our two approaches for the background linking task of TREC 2020 News Track. The main objective of this task is to recommend a list of relevant articles that the reader should refer to in order to understand the context and gain background information of the query article. Our first approach focuses on building an effective search query by combining weighted keywords extracted from the query document and uses BM25 for retrieval. The second approach leverages the capability of SBERT (Nils Reimers et al.) to learn contextual representations of the query in order to perform semantic search over the corpus. We empirically show that employing a language model benefits our approach in understanding the context as well as the background of the query article. The proposed approaches are evaluated on the TREC 2018 Washington Post dataset and our best model outperforms the TREC median as well as the highest scoring model of 2018 in terms of the nDCG@5 metric. We further propose a diversity measure to evaluate the effectiveness of the various approaches in retrieving a diverse set of documents. This would potentially motivate researchers to work on introducing diversity in their recommended list. We have open sourced our implementation on Github and plan to submit our runs for the background linking task in TREC 2020.

연구 동기 및 목표

• 키워드 기반 검색을 넘어서 의미적 이해를 향상시켜 뉴스 기사의 배경 링크링을 향상시키는 것.
• 독자가 주제에 대해 사전 지식이 없을 경우 문맥적으로 관련된 배경 기사를 식별하는 데 도전하는 것.
• BERT에서 유도된 문맥적 임bedding가 뉴스 추천 작업에서 기존의 BM25 기반 키워드 검색을 능가할 수 있는지 평가하는 것.
• 검색된 배경 기사의 다양성을 평가하기 위한 다양성 지표를 도입하고 검증하는 것.

제안 방법

• RAKE와 TF-IDF 가중치를 사용하여 쿼리 기사의 제목과 본문에서 가중치가 부여된 키워드를 추출하여 검색 쿼리를 구성한다.
• 키워드 강화 쿼리를 기반으로 BM25 순위를 매겨 후보 기사를 검색하며, 단어 수, 반복 제한, 제목/본문 가중치 등의 조정 가능한 파rameter를 제공한다.
• 문장-BERT(SBERT)를 사용하여 쿼리 및 후보 기사의 문맥적 문장 임bedding를 생성함으로써 의미 유사도 기반 검색을 가능하게 한다.
• fine-tuned BERT 또는 RoBERTa 모델을 사용하여 쿼리와 코퍼스 문서 간의 의미 유사도를 계산함으로써 키워드 기반 매칭을 문맥 이해로 대체한다.
• 검색된 문서 간의 이질성을 평가하기 위해 TF-IDF 기반의 다양성 측정 지표를 도입하여 다양한 배경 자료를 확보한다.
• TREC 2018의 관련성 평가 결과를 활용하여 하이퍼파rameter를 튜닝하며, nDCG@5 및 정밀도 지표를 기반으로 여러 구성에 대해 최적화한다.

실험 결과

연구 질문

• RQ1 BERT 기반 의미적 검색이 뉴스 기사의 배경 링크링 작업에서 기존의 BM25 검색을 능가할 수 있는가?
• RQ2 제목과 본문에서 추출한 가중치가 부여된 키워드를 사용한 쿼리 구성 방식이 전체 문서 기반 BM25와 비교해 검색 성능에 어떤 영향을 미치는가?
• RQ3 SBERT에서 유도한 문맥적 문장 임bedding를 사용할 경우 키워드 기반 방법에 비해 검색된 배경 기사의 관련성이 향상되는가?
• RQ4 BERT 기반 모델이 검색된 배경 기사 목록의 다양성에 어느 정도 기여하는가?
• RQ5 다양성 인식 메트릭은 기존의 정보 검색 메트릭을 넘어서 배경 기사 추천의 질을 효과적으로 평가할 수 있는가?

주요 결과

• IR-BERT는 nDCG@5 점수 0.4199를 기록하여 TREC 2018 중앙값(0.3448)과 최고 성능 2018 모델(umass_cbrdm, 0.4173)을 모두 초월했다.
• wBT+BM25 접근법(A1.1)은 가장 높은 P@5 점수(0.644)를 기록하여 상위 5개 기사의 정밀도가 뛰어나다는 것을 시사한다.
• 표준 메트릭에서는 낮은 성능을 보였지만, IR-RoBERTa(A2.1)는 가장 높은 다양성 점수(0.921)를 기록하여 더 다양한 배경 콘텐츠를 검색한다는 점을 시사한다.
• 의미 유사도 계산에 RoBERTa를 사용할 경우 BERT에 비해 성능이 略로 감소한 것으로 나타나 모델 선택이 결과에 상당한 영향을 미친다.
• 모든 제안된 모델이 모든 메트릭에서 베이스라인 BM25 방법을 뛰어넘었으며, 이는 향상된 쿼리 표현 방식의 이점이 있음을 확인한다.
• 다양성 측정 지표는 문서 세트의 다양성 차이를 효과적으로 포착하였으며, IR-RoBERTa가 가장 다양한 검색 결과를 도출함을 보여주었다.