[논문 리뷰] Models and Data for Simple Applications of BERT for Ad Hoc Document Retrieval

Yang, Wei, Wei Yang외 1명|arXiv (Cornell University)|2019. 03. 26.

Topic Modeling참고 문헌 23인용 수 133

한 줄 요약

본 논문은 길이가 가변적인 문서에서 문장 수준의 BERT 접근법을 간단히 시연하고, 문장 점수를 모아 더 긴 문서를 랭크하여 Microblog과 Robust04 데이터셋에서 강한 성과를 달성한다.

ABSTRACT

Following recent successes in applying BERT to question answering, we explore simple applications to ad hoc document retrieval. This required confronting the challenge posed by documents that are typically longer than the length of input BERT was designed to handle. We address this issue by applying inference on sentences individually, and then aggregating sentence scores to produce document scores. Experiments on TREC microblog and newswire test collections show that our approach is simple yet effective, as we report the highest average precision on these datasets by neural approaches that we are aware of.

연구 동기 및 목표

• 길이가 긴 문서와 제한된 문장 수준 관련성 데이터에도 불구하고 BERT를 ad hoc 문서 검색에 적용하도록 동기를 부여한다.
• 문서 수준 레이블에 대한 복잡한 파인튜닝을 피하는 간단한 추론 및 집계 기법을 제안한다.
• 방법을 TREC Microblog Tracks와 Robust04에서 평가하여 기반 신경망 성능을 설정한다.
• 문장 수준 추론과 점수 집계가 기존 신경망 모델보다 경쟁력 있거나 우수한 성능을 보여줄 수 있음을 보인다.

제안 방법

• 초기 검색에 Anserini를 사용하고 문장 수준 관련성 분류에 BERT를 사용한다.
• 가용한 문장 수준 데이터나 관련 데이터(마이크로블로그, QA, WikiQA)에서 BERT를 파인튠하고 CLS 임베딩으로 이진 관련성 분류를 적용한다.
• 짧은 문서(마이크로블로그)의 경우 질의와 문서를 입력으로 BERT에 연결하고 BERT 점수를 IR 점수와 보간한다.
• 길이가 긴 문서(뉴스와이어)의 경우 상위 문장의 BERT 점수를 계산하고 가중합(하이퍼파라미터 a와 w_i를 사용)으로 원본 문서 점수와 함께 집계한다.
• 교차 검증을 통해 보간 가중치와 문장 수(상위 n개 문장)를 조정한다.
• AP와 P30을 평가 지표로 보고 BM25+RM3 및 다양한 신경망 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 문서와 BERT 입력 한계 간의 길이 불일치를 고려할 때 BERT를 ad hoc 문서 검색에 효과적으로 적용할 수 있는가?
• RQ2 점수 집계가 가능한 문장 수준 추론이 표준 데이터셋에서 전통적 신경망 정렬 모델보다 경쟁력 있거나 우수한 성능을 보이는가?
• RQ3 파인튜닝 데이터 소스(마이크로블로그 대 QA/WikiQA)가 검색을 위한 BERT의 효과에 미치는 영향은 무엇인가?
• RQ4 상위 점수를 가진 문장들을 집계하는 방식이 전체 문서 점수를 사용하는 것과 어떻게 비교되는가?

주요 결과

• 간단한 문장 수준 추론을 통한 BERT 기반 점수화가 Microblog 트랙에서 기존 neural 모델보다 개선되며 AP와 P30에서 상당한 향상을 달성한다.
• Robust04에서 마이크로블로그 데이터로 파인튜닝한 BERT가 QA 기반 파인튜닝보다 더 우수하며, 작업 관련성이 문서 장르보다 더 중요함을 시사한다.
• Robust04에서 최고의 결과는 상위 세 문장을 사용할 때이며, 조정된 설정에서 네 번째 문장을 추가해도 도움이 되지 않는다.
• BM25+RM3는 여전히 강력한 기준선이며 일부 설정에서 신경망 모델을 능가하지만, 제안된 BERT 기반 재정렬기는 더 큰 개선을 제공한다.
• 평가된 데이터셋 전반에 걸쳐 간단한 문장 수준 집계 접근법이 당시 이 작업에 대해 신경망 방법 중 최첨단 성과를 달성했다.