[논문 리뷰] UnifieR: A Unified Retriever for Large-Scale Retrieval

Tao Shen, Xiubo Geng외 5명|arXiv (Cornell University)|2022. 05. 23.

Topic Modeling인용 수 7

한 줄 요약

UnifieR는 단일 모델 내에서 밀도 벡터 표현과 어휘 기반 표현을 통합적으로 학습하는 통합 신경 검색기이다. 이는 이중 일致성 학습을 통해 성능을 햖थ하고, 문단 검색 및 BEIR 벤치마크에서 최신 기준 성능을 달성한다. 새로운 유니-검색 기법을 통해 강력한 기준 대비 최대 2.0% 향상된 검색 품질을 확보한다.

ABSTRACT

Large-scale retrieval is to recall relevant documents from a huge collection given a query. It relies on representation learning to embed documents and queries into a common semantic encoding space. According to the encoding space, recent retrieval methods based on pre-trained language models (PLM) can be coarsely categorized into either dense-vector or lexicon-based paradigms. These two paradigms unveil the PLMs' representation capability in different granularities, i.e., global sequence-level compression and local word-level contexts, respectively. Inspired by their complementary global-local contextualization and distinct representing views, we propose a new learning framework, UnifieR which unifies dense-vector and lexicon-based retrieval in one model with a dual-representing capability. Experiments on passage retrieval benchmarks verify its effectiveness in both paradigms. A uni-retrieval scheme is further presented with even better retrieval quality. We lastly evaluate the model on BEIR benchmark to verify its transferability.

연구 동기 및 목표

• 고립된 밀도 벡터 및 어휘 기반 검색 방법의 한계를 해결하기 위해 이를 하나의 통합된 체계로 통합하는 것.
• 사전 훈련된 언어 모델이 제공하는 보편적 및 국소적 문맥 특징을 활용하여 검색 성능을 향상시키는 것.
• 이중 표현 시각 간 일관성과 일반화 능력을 향상시키는 자기 학습 전략을 개발하는 것.
• 역인덱싱과 밀도 벡터 스코링 모두에 호환 가능한 통합 인코더를 통해 대규모 효율적 검색을 가능하게 하는 것.
• BEIR(12개 데이터셋 포함)를 포함한 다양한 검색 벤치마크에서의 이식성과 강건성을 입증하는 것.

제안 방법

• 공통 백본을 가진 이중 표현 신경 인코더를 설계하여, 밀도 벡터 학습을 위한 국소 강화 시퀀스 표현 모듈과 어휘 기반 검색을 위한 전역 인지 어휘 가중치 모듈을 통합한다.
• 이중 일치성 학습을 구현: 자기 적대적 하드 네거티브 마이닝과 이중 시각 간 리스트 기반 자기 정규화를 포함한 대비 목표 함수.
• 쿼리 측 게이팅 메커니즘을 도입하여 쿼리 의미에 따라 밀도 모드 또는 어휘 모드를 동적으로 선택함으로써, 인덱싱 오버헤드 없이 효율적인 추론을 가능하게 한다.
• 유니-검색 기법을 제안: 먼저 어휘 기반 검색을 통해 후보를 추출하고, 후보 제약 하에 밀도 벡터를 사용해 재스코어링하는 방식이다.
• UnifieR에서 생성한 하드 네거티브를 기반으로 훈련된 재랭커를 활용해 지식 distillation을 수행하고, 지속적 훈련 단계에서 성능 향상을 위한 지식 전이를 실현한다.
• 밀도 및 희소 표현을 모두 저장함으로써 기존 검색 인fra구조와의 호환성을 확보하면서도, 낮은 추론 지연을 유지한다.

Figure 2. The encoder in Unifie r .

실험 결과

연구 질문

• RQ1 통합 검색기로 밀도 벡터 및 어휘 기반 검색 철학을 효과적으로 통합하여 고립된 방법보다 우월한 성능을 낼 수 있는가?
• RQ2 이중 일치성 학습은 다양한 표현 시각 간 일반화 및 강건성을 어떻게 향상시키는가?
• RQ3 제안된 유니-검색 기법은 두 철학을 융합함으로써 검색 품질을 얼마나 향상시키는가?
• RQ4 쿼리 측 게이팅 메커니즘은 추론 비용을 증가시키지 않으면서도 검색 성능을 어떻게 향상시키는가?
• RQ5 UnifieR는 BEIR(12개 데이터셋 포함)를 포함한 다양한 벤치마크에서 일반화 가능한가?

주요 결과

• BEIR 벤치마크에서 강력한 기준 대비 2.0% 이상의 향상을 달성하여, 12개의 다양한 데이터셋에 걸쳐 뛰어난 이식성을 입증한다.
• 유니-검색 기법은 강력한 경쟁자 대비 최대 2.0% 향상된 검색 품질을 보이며, 여러 벤치마크에서 일관된 성과 향상을 보인다.
• 쿼리 측 게이팅 메커니즘은 MRR@10을 0.9% 향상시키고 R@100을 0.4% 향상시켜, 추가 추론 비용 없이 성능을 향상시킨다.
• 재랭커에서 지식을 디스틸레이션한 후에도 UnifieR는 MRR 및 R@100에서 가장 강력한 경쟁자보다 1% 이상 뛰어난 성능을 유지한다.
• 사례 연구 결과, UnifieR의 이중 표현은 상호 보완적인 관련성 시각을 포착하며, 밀도 모델은 의미 이해에서 뛰어나고, 어휘 모델은 희귀어 또는 모호한 어휘를 더 잘 처리함을 확인했다.
• PLM 호환성 및 인덱싱 인fra구조의 한계가 존재하지만, 전통적인 어휘 기반 검색 수준의 낮은 추론 지연을 유지한다.

Figure 3. The two-stage self-learning strategy for Unifie r .