[논문 리뷰] Aggretriever: A Simple Approach to Aggregate Textual Representations for Robust Dense Passage Retrieval

Sheng-Chieh Lin, Minghan Li외 1명|arXiv (Cornell University)|2022. 07. 31.

Topic Modeling인용 수 4

한 줄 요약

Aggretriever는 BERT의 마스킹 언어 모델링(MLM) 헤드에서 유의미한 토큰 임베딩을 집계하여 압축된 벡터 $\mathbf{agg}^{*}$로 변환하고, 이와 [CLS] 벡터를 연결함으로써 밀도 높은 문단 검색 성능을 향상시키는 단순하면서도 효과적인 방법을 제안한다. 이는 추가적인 사전 훈련이나 고비용 미세조정 없이도 도메인 내 및 제로샷 벤치마크에서 성능 향상을 이룬다.

ABSTRACT

Pre-trained language models have been successful in many knowledge-intensive NLP tasks. However, recent work has shown that models such as BERT are not ``structurally ready'' to aggregate textual information into a [CLS] vector for dense passage retrieval (DPR). This ``lack of readiness'' results from the gap between language model pre-training and DPR fine-tuning. Previous solutions call for computationally expensive techniques such as hard negative mining, cross-encoder distillation, and further pre-training to learn a robust DPR model. In this work, we instead propose to fully exploit knowledge in a pre-trained language model for DPR by aggregating the contextualized token embeddings into a dense vector, which we call agg*. By concatenating vectors from the [CLS] token and agg*, our Aggretriever model substantially improves the effectiveness of dense retrieval models on both in-domain and zero-shot evaluations without introducing substantial training overhead. Code is available at https://github.com/castorini/dhr

연구 동기 및 목표

• BERT 기반 밀도 높은 검색기의 한계를 해결하기 위해, 도메인 외부 및 제로샷 설정에서 문맥에 맞는 표현을 효과적으로 집계하지 못하는 문제를 해결한다.
• BERT의 [CLS] 벡터가 사전 훈련 과정에서 세밀한 텍스트 정보를 효과적으로 포착하지 못하는 '구조적 준비되지 않은' 문제를 해결한다.
• 추가적인 사전 훈련이나 복잡한 미세조정 없이도 BERT의 사전 훈련된 지식을 최대로 활용할 수 있는 계산적으로 가벼운 방법을 개발한다.
• 단일 밀도 벡터 표현에 의미적([CLS]를 통한) 및 어휘적(MLM 투영을 통한) 신호를 통합하여 검색 효과성을 향상시킨다.

제안 방법

• BERT의 사전 훈련된 MLM 헤드를 재사용하여 각 문맥에 맞는 토큰 임베딩을 고차원의 워드피ece 어휘 공간으로 투영한다.
• 투영된 벡터에 대해 최대 풀링과 프루닝을 적용하여 압축되고 영향력이 높은 어휘 표현을 확보하며, 이를 $\mathbf{agg}^{\star}$로 표기한다.
• $\mathbf{agg}^{\star}$를 [CLS] 벡터와 연결하여 최종 문단 표현을 구성함으로써 의미적 및 어휘적 정보의 공동 모델링을 가능하게 한다.
• 표준 음성 샘플링을 사용한 표준 이중 인코더 훈련을 통해 최종 Aggretriever 모델을 미세조정하며, 어려운 음성 샘플링이나 디스틸리케이션을 피한다.
• 최종 밀도 벡터 표현을 기반으로 효율적인 근사 최근접 이웃 검색을 위해 기존의 ANN 라이브러리를 활용한다.
• 하나의 밀도 벡터 출력을 유지함으로써 기존 검색 파이프라인과의 호환성을 확보하며, 이중 표현이 필요한 하이브리드 모델과는 다릅니다.

실험 결과

연구 질문

• RQ1 추가적인 사전 훈련 없이 BERT의 사전 훈련된 MLM 헤드를 완전히 활용함으로써 밀도 높은 문단 검색 성능을 향상시킬 수 있는가?
• RQ2 압축된 벡터 $\mathbf{agg}^{\star}$로 문맥에 맞는 토큰 임베딩을 집계하는 것이 [CLS] 벡터에만 의존하는 것보다 더 나은 검색 성능을 이끌 수 있는가?
• RQ3 제안된 집계 방법이 계산 오버헤드 없이 제로샷 및 도메인 외부 검색 성능 향상에 기여할 수 있는가?
• RQ4 Aggretriever 접근 방식은 기존 검색 시스템과 호환되며 ANN 기반 검색에 효율적인가?

주요 결과

• Aggretriever는 도메인 내 및 제로샷 검색 벤치마크에서 표준 [CLS]-단일 모델보다 유의미한 성능 향상을 보이며, 다양한 데이터셋에서 일관된 성과를 기록한다.
• 어려운 음성 샘플링이나 지식 디스틸리케이션을 사용하는 모델들인 BERT$_{\text{CLS}}$ 및 TAS-B와 비교해도 Aggretriever는 뛰어난 성능을 보인다.
• [CLS] 벡터에 $\mathbf{agg}^{\star}$를 추가함으로써 어려운 음성 샘플링이나 양자화 기반 교사-학생 모델링과 같은 고비용 훈련 기법 없이도 검색 효과성이 향상된다.
• Aggretriever는 제로샷 설정에서도 뛰어난 성능을 유지하며, 표준 DPR 모델 대비 분포 이탈에 대한 강건성을 입증한다.
• 이 방법은 추가적인 사전 훈련 전략과 수직적(orthogonal)이며, coCondenser와 같은 모델과 결합하면 성능 향상이 더욱 두드러진다.
• MLM 기반 집계는 정적 어휘 신호를 제공하여 조밀한 검색에서도 매칭 성능 향상을 이끌어내며, 의미적 매칭과 어휘적 매칭에 이중적인 이점을 제공한다.