[논문 리뷰] Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval

Zehan Li, Nan Yang외 2명|arXiv (Cornell University)|2022. 08. 08.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 각 문서당 다수의 의사 쿼리를 생성하고, 각 문서를 이러한 쿼리와의 상호작용을 통해 쿼리에 영향을 받는 다양한 문서 표현을 학습하는 이중 크로스 인코더 모델을 제안한다. 이 방법은 크로스 인코더 수준의 성능를 달성하면서 듀얼 인코더의 추론 효율성을 유지하며, MS MARCO, TREC DL 19, TREC DL 20 벤치마크에서 강력한 베이스라인을 능가한다.

ABSTRACT

In this paper, we propose a new dense retrieval model which learns diverse document representations with deep query interactions. Our model encodes each document with a set of generated pseudo-queries to get query-informed, multi-view document representations. It not only enjoys high inference efficiency like the vanilla dual-encoder models, but also enables deep query-document interactions in document encoding and provides multi-faceted representations to better match different queries. Experiments on several benchmarks demonstrate the effectiveness of the proposed method, out-performing strong dual encoder baselines.The code is available at \url{https://github.com/jordane95/dual-cross-encoder

연구 동기 및 목표

• 밀도 있는 검색에서 크로스 인코더와 듀얼 인코더 모델 간의 성능 격차를 좁히되, 추론 효율성을 희생하지 않도록 하는 것.
• 인코딩 중에 깊은 쿼리-문서 상호작용을 통합하여 문서 표현의 다양성을 향상시키는 것.
• 다양한 쿼리 의미에 더 잘 부합하는 다각도의 문서 표현을 가능하게 하는 것.
• 의사 쿼리 생성을 데이터 증강 및 표현 학습 전략으로서의 효과성을 탐색하는 것.

제안 방법

• 각 문서에 대해, 쿼리 생성 모델이 상호작용을 유도하는 다수의 의사 쿼리를 생성한다.
• 각 문서는 쿼리와 결합된 코너스 인코더 아키텍처를 통해 인코딩되어, 쿼리에 영향을 받는 다중 시각 표현을 생성한다.
• 최종 문서 표현은 모든 쿼리별 표현에 대해 max-pooling을 수행하여 얻으며, 다양성을 유지하고 효율적인 벡터 검색을 가능하게 한다.
• 대표 표현 공간을 최적화하기 위해 하드 네거티브를 포함한 대비 학습을 사용하여, 제로샷 일반화 성능을 향상시킨다.
• 쿼리 및 문서 인코더 간의 파라미터 공유로 모델 크기를 줄이면서도 성능를 유지한다.
• 최대 내적 곱 검색(MIPS)과의 호환성을 통해 사전에 계산된 문서 벡터에서 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 깊은 쿼리-문서 상호작용을 사전에 계산하여, 듀얼 인코더 추론 효율성으로 크로스 인코더 수준의 성능를 달성할 수 있는가?
• RQ2 다중 시각 문서 인코딩에서 쿼리의 다양성과 품질은 검색 성능에 어떤 영향을 미치는가?
• RQ3 의사 쿼리 생성이 훈련 데이터 증강 및 표현 품질 향상에 효과적으로 기여하는가?
• RQ4 다중 시각 문서 인코딩은 다양한 쿼리에 대한 매칭 정확도를 향상시키는가?

주요 결과

• MS MARCO에서 제안된 모델은 DPR 듀얼 인코더 베이스라인 대비 MRR@10에서 2.8점 향상(36.0 vs. 34.2)을 기록했고, TREC DL 20에서 nDCG@10에서 5.6점 향상(68.9 vs. 63.3)을 기록했다.
• TREC DL 20에서 모델는 ColBERT를 nDCG@10에서 능가하면서도 더 낮은 계산 비용을 유지했다.
• 데이터 증강 없이도 TREC DL 19 벤치마크에서 데이터 증강을 적용한 DPR와 유사한 성능를 달성했다.
• 제거 실험 결과, 생성된 쿼리에서의 사전 훈련은 파인튜닝 성능을 향상시키지만, 실제 데이터로 직접 파인튜닝하는 것이 더 좋은 결과를 얻었다.
• 인코더 파라미터를 묶는 것은 성능를 약간 감소시켰으며, 이는 쿼리-문서 상호작용을 모델링할 때 비대칭 인코딩이 유리함을 시사한다.
• 문서당 4~6개의 생성된 쿼리로도 모델는 다양성과 효율성의 균형을 이루며 뛰어난 성능를 기록했다.