[논문 리뷰] BERT-QE: Contextualized Query Expansion for Document Re-ranking

Zhi Zheng, Kai Hui외 4명|arXiv (Cornell University)|2020. 09. 15.

Topic Modeling참고 문헌 32인용 수 4

한 줄 요약

BERT-QE는 상황에 맞는 쿼리 확장을 위한 방법으로, BERT를 활용해 상위 랭킹의 피드백 문서에서 관련성이 높은 텍스트 조각을 식별하고 선택함으로써, 계산 비용이 3-30% 증가하는 데 그치지만 TREC Robust04 및 GOV2 벤치마크에서 BERT-Large를 크게 앞서는 성능을 보인다.

ABSTRACT

Query expansion aims to mitigate the mismatch between the language used in a query and in a document. However, query expansion methods can suffer from introducing non-relevant information when expanding the query. To bridge this gap, inspired by recent advances in applying contextualized models like BERT to the document retrieval task, this paper proposes a novel query expansion model that leverages the strength of the BERT model to select relevant document chunks for expansion. In evaluation on the standard TREC Robust04 and GOV2 test collections, the proposed BERT-QE model significantly outperforms BERT-Large models.

연구 동기 및 목표

• 맥락 기반 표현을 활용하여 정보 검색에서의 어휘 불일치 문제를 해결하고 쿼리 확장을 향상시키기 위해.
• 약한 관련성 신호나 스칼라 통계에 의존하는 전통적 쿼리 확장 방법의 한계를 극복하기 위해.
• BERT가 미세한 수준에서 관련성이 높은 문서 조각을 식별할 수 있는 능력을 활용하여 확장어의 품질을 향상시키기 위해.
• 모델 버전 간의 성능-비용 트레이드오���을 통해 BERT-Large보다 뛰어난 재랭킹 성능를 달성하면서도 계산 효율성을 유지하기 위해.
• 얕은 풀과 깊은 풀 모두에서 BERT 기반의 조각 수준 관련성 점수 기반 쿼리 확장의 효과성을 입증하기 위해.

제안 방법

• MS MARCO 사전학습을 초기화로 사용하여 대상 정보 검색 데이터셋(예: Robust04 또는 GOV2)에서 BERT 모델을 미세조정한다.
• 1단계에서 미세조정된 BERT 모델을 사용해 초기 문서 목록을 재랭킹하여 상위-k 피드백 문서를 확보한다.
• 2단계에서 상위 랭킹의 피드백 문서를 고정 길이의 텍스트 조각(예: 10개 토큰)으로 분할하고, BERT 모델을 사용해 각 조각의 원래 쿼리에 대한 관련성 점수를 산출한다.
• BERT 점수 기반으로 상위-k_c개의 관련성이 높은 조각을 선택하여 확장을 수행한다.
• 3단계에서 원래 쿼리와 선택된 관련 조각을 조합한 복합 쿼리를 사용해 모든 문서를 재랭킹하며, BERT가 최종 관련성 점수를 산출한다.
• BERT-Large, BERT-Base, BERT-Tiny 등의 다양한 BERT 버전을 사용해 효율성-성능 트레이드오프를 탐색하며, BERT-QE-LLL, BERT-QE-LMT, BERT-QE-LLS 등의 모델을 도출한다.

실험 결과

연구 질문

• RQ1 전통적인 토큰 수준 또는 문서 수준 방법과 비교해, BERT 기반의 조각 수준 관련성 점수 기반 접근이 쿼리 확장 품질을 향상시킬 수 있는가?
• RQ2 BERT-QE는 표준 TREC 재랭킹 벤치마크에서 BERT-Large와 비교해 어떤 성능을 보이는가?
• RQ3 BERT-QE 프레임워크에서 더 작은 BERT 버전을 사용할 경우, 계산 비용과 검색 성능 사이의 최적의 균형은 무엇인가?
• RQ4 미세한 수준의 맥락 기반 관련 텍스트 조각을 선택하는 것이 기존 쿼리 확장 기법보다 어휘 불일치 문제를 더 잘 다룰 수 있는가?
• RQ5 제안된 방법은 유의미한 인프런스 비용 증가만으로도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 모든 단계에서 BERT-Large를 사용하는 BERT-QE-LLL는 TREC Robust04 및 GOV2 테스트 컬렉션에서 BERT-Large를 크게 앞서는 성능을 보였다.
• 더 작은 BERT 버전을 사용하는 BERT-QE-LMT는 얕은 풀에서 BERT-Large와 유사한 성능을 보였고, 계산 비용은 단지 3% 증가에 그쳤다.
• 더 큰 버전인 BERT-QE-LLS는 얕은 풀과 깊은 풀 모두에서 BERT-Large를 능가하는 성능을 보였으며, 계산 비용은 30% 증가하였다.
• 확장을 위한 최적의 조각 크기는 k_c = 10이며, 이는 성능과 계산 비용의 균형을 잘 맞추며, k_c = 20은 유의미한 성능 향상만을 보였다.
• 모델의 효과성은 다양한 설정에서 뛰어나며, 조각 선택에 있어 m = 10이 가장 우수한 설정으로 확인되었다.
• BERT를 활용한 미세한 수준의 조각 관련성 점수 기반 접근은 어휘 빈도나 언어 모델에 의존하는 기존 방법보다 더 정확하고 관련성이 높은 쿼리 확장을 가능하게 하였다.