[논문 리뷰] Densifying Sparse Representations for Passage Retrieval by Representational Slicing

Sheng-Chieh Lin, Jimmy Lin|arXiv (Cornell University)|2021. 12. 09.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 표현 자르기(representational slicing)를 통해 희소 표현을 조밀하게 만드는 훈련이 필요 없는 방법을 제안하며, 이는 이해 가능하고 효율적이며 효과적인 밀집 임베딩과의 융합을 가능하게 한다. 이 방법은 게이트드 내적(Gated Inner Product, GIP)을 사용하여 유사도 점수를 계산하며, COIL과 같은 강력한 밀집 모델과 비슷한 성능을 달성하면서 인덱스 크기를 줄이고 빠른 검색-다시정렬 추론을 가능하게 한다.

ABSTRACT

Learned sparse and dense representations capture different successful approaches to text retrieval and the fusion of their results has proven to be more effective and robust. Prior work combines dense and sparse retrievers by fusing their model scores. As an alternative, this paper presents a simple approach to densifying sparse representations for text retrieval that does not involve any training. Our densified sparse representations (DSRs) are interpretable and can be easily combined with dense representations for end-to-end retrieval. We demonstrate that our approach can jointly learn sparse and dense representations within a single model and then combine them for dense retrieval. Experimental results suggest that combining our DSRs and dense representations yields a balanced tradeoff between effectiveness and efficiency.

연구 동기 및 목표

• 훈련이 추가로 필요 없이 희소 표현을 조밀하게 만드는 방법을 개발하는 것.
• 조밀화된 희소 표현과 밀집 표현을 통합된 검색 프레임워크에서 직접 융합할 수 있도록 하는 것.
• 희소 표현과 밀집 표현의 상호보완적 신호를 조합하여 검색의 효과성과 효율성을 향상시키는 것.
• 모델 투명성이 중요한 상황에서 밀집 표현에 대한 이해 가능한 대안을 제공하는 것.
• 고성능을 유지하면서도 인덱스 크기와 쿼리 지연 시간을 줄이는 것.

제안 방법

• 이 방법은 고차원 희소 표현을 서로 겹치지 않는 M개의 N차원 슬라이스로 분할한다.
• 각 슬라이스에 대해 최대 활성화 값과 그 위치(인덱스)를 추출하여 압축된 표현을 형성한다.
• 질의와 문장 간의 유사도는 게이트드 내적(GIP)을 사용하여 계산되며, 이는 슬라이스 간에 일치하는 인덱스를 가진 차원들만 고려한다.
• 검색-다시정렬 전략을 사용한다: 먼저 DSR만을 사용하여 상위 10K 후보를 검색하고, 이후 융합된 DSR 및 밀집 점수를 사용해 다시정렬한다.
• 이 방법은 희소 표현과 밀집 표현을 동시에 학습하는 통합 양방향 인코더 모델에서 종단간(end-to-end)으로 적용된다.
• 슬라이싱 전략으로는 스트라이드, 연속, 무작위 분할이 포함되며, 스트라이드와 무작위 분할이 최적의 성능을 낸다.

실험 결과

연구 질문

• RQ1 훈련 없이도 해석 가능성과 효과성을 유지하면서 희소 표현을 조밀하게 만들 수 있는가?
• RQ2 표준 내적과 비교해 게이트드 내적(GIP)은 효율성과 효과성 측면에서 어떻게 다른가?
• RQ3 조밀화된 희소 표현(DSR)은 단일 검색 프레임워크에서 밀집 표현과 효과적으로 융합될 수 있는가?
• RQ4 다양한 슬라이싱 전략(예: 스트라이드, 연속, 무작위)은 검색 성능에 어떤 영향을 미치는가?
• RQ5 검색-다시정렬 파이프라인은 DSR의 추론 속도를 크게 향상시키면서도 효과성을 유지할 수 있는가?

주요 결과

• 768차원 DSR 모델은 MS MARCO 개발 세트에서 MRR@10 0.343과 R@1K 0.957을 달성하며, 강력한 밀집 모델과 유사한 성능을 보인다.
• θ = 0.1인 검색-다시정렬 파이프라인을 사용할 경우 추가로 10ms의 지연만 발생하지만 효과성은 유지되며, 이로 인해 검색 속도가 10배 향상된다.
• 128차원 DSR과 밀집 [CLS] 표현을 융합하면 순수 밀집 모델나 DSR 전용 모델보다 더 뛰어난 효율성과 효과성을 달성한다.
• 768차원의 DSR-SPLADE 모델은 스트라이드 슬라이싱 전략을 사용할 경우 MRR@10 0.343과 R@1K 0.957을 기록하며, 랜덤 슬라이싱과 동일한 성능을 보였고, 연속 슬라이싱(0.332)보다 뛰어난 성능을 보였다.
• DSR-{SPLADE} + Dense-[CLS] 융합 모델은 COIL(가장 효과적인 밀집 모델)에 가까운 검색 성능을 달성하면서도 인덱스 크기가 크게 작아졌다.
• 게이트드 내적(GIP)은 DSR와 밀집 표현의 효과적인 융합을 가능하게 하며, 높은 시간 복잡도가 효율적인 검색 파이프라인과 결합될 경우 실용적 성능에 장애가 되지 않음을 보여준다.