[논문 리뷰] Co-BERT: A Context-Aware BERT Retrieval Model Incorporating Local and Query-specific Context

Xiaoyang Chen, Kai Hui외 4명|arXiv (Cornell University)|2021. 04. 17.

Topic Modeling참고 문헌 42인용 수 9

한 줄 요약

Co-BERT는 국소적 랭킹 컨텍스트(다중 문서 간 상호작용)와 쿼리별 컨텍스트(가짜 관련 피드백을 통한)를 함께 모델링함으로써 관련성 점수를 향상시키는 컨텍스트 인식 BERT 기반 재랭킹 모델을 제안한다. 프로토타입 문서를 사용하여 쿼리-문서 표현을 校정하고, 문서 그룹을 동시에 점수 매기는 방식으로 Co-BERT는 최신 기술 수준의 성능을 달성하여 GOV2 데이터셋에서 BERT-Base 대비 nDCG@20를 14.7% 향상시키고 MAP@1K를 13.9% 향상시켰다.

ABSTRACT

BERT-based text ranking models have dramatically advanced the state-of-the-art in ad-hoc retrieval, wherein most models tend to consider individual query-document pairs independently. In the mean time, the importance and usefulness to consider the cross-documents interactions and the query-specific characteristics in a ranking model have been repeatedly confirmed, mostly in the context of learning to rank. The BERT-based ranking model, however, has not been able to fully incorporate these two types of ranking context, thereby ignoring the inter-document relationships from the ranking and the differences among queries. To mitigate this gap, in this work, an end-to-end transformer-based ranking model, named Co-BERT, has been proposed to exploit several BERT architectures to calibrate the query-document representations using pseudo relevance feedback before modeling the relevance of a group of documents jointly. Extensive experiments on two standard test collections confirm the effectiveness of the proposed model in improving the performance of text re-ranking over strong fine-tuned BERT-Base baselines. We plan to make our implementation open source to enable further comparisons.

연구 동기 및 목표

• BERT 기반 모델이 쿼리-문서 쌍을 독립적으로 다루어 상호 문서 관계와 쿼리 특성에 주목하지 못하는 한계를 해결한다.
• 국소적 랭킹 컨텍스트(다중 문서 간 상호작용)와 쿼리별 컨텍스트(가짜 관련 피드백을 통한)를 하나의 BERT 기반 랭킹 프레임워크에 통합한다.
• 강력한 미세조정된 BERT-Base 기반 모델을 초월하는 재랭킹 성능을 향상시키는 엔드 투 엔드 학습 가능한 모델을 개발한다.
• 계산 비용을 최소화하면서도 효과적으로 BERT 아키텍처에 컨텍스트 정보를 통합한다.
• 오픈소스 배포 및 DPR, ColBERT와 같은 다른 모델로의 향후 확장 가능성을 고려하여 보다 넓은 적용 가능성을 확보한다.

제안 방법

• 가짜 관련 피드백(PR)을 사용하여 각 쿼리별 프로토타입 문서를 생성하고, 이를 쿼리-문서 상호작용 표현을 校정하는 데 사용한다.
• 접근한 그룹 간 국소적 랭킹 컨텍스트를 유지하기 위해 겹치는 문서를 포함한 배치를 구성한다.
• 다중 헤드 자기주의 기반 그룹별 스코어러를 적용하여 배치 내 문서 간의 관련성 점수를 동시에 모델링한다.
• PRF로 校정된 표현을 입력으로 사용하여, 순서 인식 방식으로 BERT에 문서 및 쿼리를 입력한다.
• 표준 랭킹 손실(예: 페어웨이즈 또는 리스트와이즈)을 사용하여 엔드 투 엔드로 학습하며, 성능을 위해 배치 순서와 겹침을 최적화한다.
• BERT의 CLS 표현 위에 밀집층 스택을 사용하여 그룹 내 각 문서의 최종 관련성 점수를 예측한다.

실험 결과

연구 질문

• RQ1 BERT 기반 재랭커에 국소적 랭킹 컨텍스트(다중 문서 간 상호작용)를 통합하면 검색 성능이 향상되는가?
• RQ2 가짜 관련 피드백을 통해 모델링한 쿼리별 컨텍스트는 광고형 검색을 위한 BERT의 표현 능력을 향상시키는가?
• RQ3 과도한 계산 비용 없이도 하나의 BERT 기반 아키텍처 내에서 국소적 및 쿼리별 컨텍스트를 동시에 모델링하는 것이 가능한가?
• RQ4 배치 순서와 구조(겹침 포함)는 모델 수렴과 성능에 어떤 영향을 미치는가?
• RQ5 Co-BERT는 효율성과 효과성 측면에서 기존의 BERT 기반 및 비-BERT 신경 정보 검색 모델을 모두 초월할 수 있는가?

주요 결과

• GOV2 데이터셋에서 Co-BERT는 BERT-Base(MS Marco) 대비 nDCG@20를 14.7% 향상시키고 MAP@1K를 13.9% 향상시켜 뚜렷한 성과 향상을 보였다.
• Robust04에서 Co-BERT는 동일한 BERT-Base 기반 모델 대비 nDCG@20에서 2.0% 향상되고 MAP@1K에서 6.6% 향상되었다.
• GOV2에서는 최근 제안된 BERT-QE 모델을 크게 능가했으며, Robust04에서는 상당히 낮은 계산 비용으로 경쟁적인 성능을 달성했다.
• 배치 크기가 64일 때 두 데이터셋 모두 최적의 성능를 기록하여 모델 안정성과 하드웨어 제약 간의 균형을 이루는 것으로 나타났다.
• 프로토타입 문서 수가 4개 이하일 경우(예: m=3) 성능 저하가 심각하게 발생했으며, 특히 Robust04에서 두드러졌다. 이는 충분한 PRF 校정의 중요성을 시사한다.
• 배치 간 겹침이 비영일 경우(o > 0) 얕은 풀에서 성능 향상이 관찰되었으며, 특히 GOV2에서 문서 연속성이 학습에 도움이 된다고 나타났다.