[논문 리뷰] Sparse Meets Dense: A Hybrid Approach to Enhance Scientific Document Retrieval

Priyanka Mandikal, Raymond J. Mooney|arXiv (Cornell University)|2024. 01. 08.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 희소 TF/IDF 벡터-공간 표현과 밀집 SPECTER2 임베딩을 결합한 하이브리드 검색 모델을 제시하며, 낭포성 섬유증(CF) 과학 문서 벤치마크에서 두 기준 모형보다 성능이 우수함을 보인다.

ABSTRACT

Traditional information retrieval is based on sparse bag-of-words vector representations of documents and queries. More recent deep-learning approaches have used dense embeddings learned using a transformer-based large language model. We show that on a classic benchmark on scientific document retrieval in the medical domain of cystic fibrosis, that both of these models perform roughly equivalently. Notably, dense vectors from the state-of-the-art SPECTER2 model do not significantly enhance performance. However, a hybrid model that we propose combining these methods yields significantly better results, underscoring the merits of integrating classical and contemporary deep learning techniques in information retrieval in the domain of specialized scientific documents.

연구 동기 및 목표

• 전통적인 희소 벡터 공간 검색(VSR)과 밀집 임베딩 검색(SPECTER2)을 고전적인 CF 말뭉치에서 평가한다.
• 하이브리드 희소+밀집 리트리버가 개별 모델보다 성능이 우수한지 평가한다.
• 검색 품질에 대한 결합 가중치 λ의 영향을 탐구한다.
• 하이브리드 설정에서 기본 SPECTER2와 어댑터의 사용 효과를 평가한다.

제안 방법

• 희소 기준으로 코사인 유사도를 사용한 TF/IDF를 사용한다.
• 밀집 임베딩 생성을 위해 SPECTER2를 사용하고 밀집 검색에 코사인 유사도를 사용한다.
• λ * 밀집 유사도 + (1-λ) * 희소 유사도로 문서를 점수화하는 하이브리드 리트리버를 만든다.
• CF 데이터 세트에서 정밀도-재현율 및 NDCG를 최적화하기 위해 λ를 조정한다.
• 하이브드 프레임워크 내에서 기본 SPECTER2와 어댑터 변형을 비교한다.

Figure 1: Overview of our approach. On a medical dataset of cystic fibrosis documents, we combine sparse bag-of-words embeddings with dense embeddings from a SOTA LLM (Specter2 [ 4 ] ) to produce a hybrid retriever that significantly outperforms both methods.

실험 결과

연구 질문

• RQ1 희소+밀집 하이브리드 검색 모델이 의학/과학 검색 작업에서 전통적 희소 및 밀집 기준 모형을 모두 능가할 수 있는가?
• RQ2 이 데이터 세트에 대해 밀집 구성요소와 희소 구성요소의 최적 균형(λ)은 무엇인가?
• RQ3 하이브리드 모델 내에서 SPECTER2의 어댑터가 추가 이점을 제공하는가?

주요 결과

• 하이브리드 모델이 CF 말뭉치에서 정밀도/재현율 및 NDCG 지표 측면에서 TF/IDF VSR과 SPECTER2 모두를 능가한다.
• 밀집 구성요소에 더 높은 가중치(λ ≈ 0.8)가 PR과 NDCG 모두에서 최상의 결과를 낳는다.
• 이 설정에서 SPECTER2 기본 모델은 어댑터보다 적어도 같은 성능을 보이며, 어댁터는 제한된 NDCG 이득을 제공하지만 높은 재현율에서 정밀도를 감소시킬 수 있다.
• 전통적 IR 기법과 현대 IR 기법의 통합이 특수한 과학 검색에 유용하다는 점을 시사한다.

Figure 2: Results on the Cystic-Fibrosis dataset. The hybrid approach ( $\lambda=0.8$ ) outperforms both traditional sparse vector-space retrieval (VSR) and state-of-the-art deep embeddings (SPECTER2 [ 4 ] ) in both PR (left) as well as NDCG (right) metrics.