[논문 리뷰] Multi-Vector Retrieval as Sparse Alignment

Yujie Qian, Jinhyuk Lee외 6명|arXiv (Cornell University)|2022. 11. 02.

Topic Modeling인용 수 4

한 줄 요약

ALIGNER는 질의와 문서 토큰 간의 희박한 토큰 수준 정렬을 통해 문서 검색을 공식화하는 새로운 다중벡터 검색 모델로, 학습 가능한 쌍별 정렬과 엔트로피 정규화된 단항 중요도를 사용하여 작업 적응형 희박성과 효율적인 정렬 제거를 가능하게 한다. 이 모델은 BEIR에서 51.1 nDCG@10의 최신 기준 성능을 달성하며, 소수의 예제로도 최대 15.7포인트 향상을 보이며, 성능 손실을 최소화하면서 문서 토큰 저장량을 80% 감소시킨다.

ABSTRACT

Multi-vector retrieval models improve over single-vector dual encoders on many information retrieval tasks. In this paper, we cast the multi-vector retrieval problem as sparse alignment between query and document tokens. We propose AligneR, a novel multi-vector retrieval model that learns sparsified pairwise alignments between query and document tokens (e.g. `dog' vs. `puppy') and per-token unary saliences reflecting their relative importance for retrieval. We show that controlling the sparsity of pairwise token alignments often brings significant performance gains. While most factoid questions focusing on a specific part of a document require a smaller number of alignments, others requiring a broader understanding of a document favor a larger number of alignments. Unary saliences, on the other hand, decide whether a token ever needs to be aligned with others for retrieval (e.g. `kind' from `kind of currency is used in new zealand}'). With sparsified unary saliences, we are able to prune a large number of query and document token vectors and improve the efficiency of multi-vector retrieval. We learn the sparse unary saliences with entropy-regularized linear programming, which outperforms other methods to achieve sparsity. In a zero-shot setting, AligneR scores 51.1 points nDCG@10, achieving a new retriever-only state-of-the-art on 13 tasks in the BEIR benchmark. In addition, adapting pairwise alignments with a few examples (<= 8) further improves the performance up to 15.7 points nDCG@10 for argument retrieval tasks. The unary saliences of AligneR helps us to keep only 20% of the document token representations with minimal performance loss. We further show that our model often produces interpretable alignments and significantly improves its performance when initialized from larger language models.

연구 동기 및 목표

• 기존 다중벡터 검색 모델이 밀도 높은 비희박 정렬에 의존하고 효율적인 정렬 제거 메커니즘이 없어 효율성이 떨어지고 성능이 최적화되지 않는 문제를 해결하기 위해.
• 질의 수준의 정렬에서 작업에 맞는 희박성을 가능하게 하여, 사실 기반 질문에는 적은 수의 정렬을, 넓은 커버리지가 필요한 작업(예: 논거 검색)에는 더 많은 정렬을 선호하도록 하기 위해.
• 검색에 관련된 질의 및 문서 토큰을 식별할 수 있는 희박한 단항 중요도를 학습하는 엔드 투 엔드 미분 가능한 방법을 개발하기 위해.
• 중요도 기반 정렬 제거를 통해 토큰 표현의 저장 및 계산 비용을 줄임으로써 성능 손실 없이 검색 효율을 향상시키기 위해.
• 희박한 정렬이 해석 가능하며, 대규모 언어 모델에서의 초기화가 성능 향상에 기여하는지 확인하기 위해.

제안 방법

• 질의와 문서 토큰 간의 희박한 정렬로 다중벡터 검색을 공식화하며, 각 정렬은 컨텍스트 기반 토큰 벡터 간의 쌍별 매칭을 나타낸다.
• 다양한 기준으로 정렬 수를 제어할 수 있는 미분 가능한 메커니즘을 통해 쌍별 정렬을 희박하게 학습시키는 방법을 도입한다.
• 토큰이 정렬 대상이 되어야 하는지 여부를 결정하기 위해 단항 중요도를 제안하며, 이는 정렬 행렬의 전체 행 또는 열을 마스킹하는 데 효과적이다.
• 엔트로피 정규화된 선형 프로그래밍을 사용해 엔드 투 엔드로 희박한 단항 중요도를 학습하며, 희박성과 성능 면에서 L1 또는 게이팅 메커니즘보다 뛰어나다.
• 작업당 ≤8개의 예제로 쌍별 정렬을 미세조정함으로써 강력한 제로샷 추론 성능과 소수의 예제에 대한 적응 능력을 확보한다.
• 중요도 점수를 사용해 문서 토큰 벡터의 최대 80%와 질의 토큰 벡터의 최대 50%를 정렬 제거하며, nDCG@10 감소 폭이 1포인트 이하로 유지된다.

실험 결과

연구 질문

• RQ1 희박하고 작업 적응형 토큰 수준의 정렬은 다양한 정보 검색 작업 간의 검색 성능 향상에 기여하는가?
• RQ2 학습 가능한 단항 중요도가 성능 저하 없이 불필요한 질의 및 문서 토큰을 효과적으로 식별하고 제거할 수 있는가?
• RQ3 쌍별 정렬의 희박성 제어가 다양한 검색 의도(예: 사실 기반 검색 vs. 논거 검색) 간의 일반화 능력을 향상시키는가?
• RQ4 ALIGNER는 대조적 사전 훈련이나 distillation 없이도 최고 성능을 달성할 수 있는가?
• RQ5 희박한 정렬이 얼마나 해석 가능성이 높고, 대규모 언어 모델과의 호환성을 향상시키는가?

주요 결과

• ALIGNER는 대조적 사전 훈련이나 distillation 없이도 제로샷 설정에서 BEIR 벤치마크에서 51.1 nDCG@10의 새로운 최고 성능을 기록하며, 이는 이전의 리트리버 전용 모델을 능가한다.
• 단 1~8개의 미세조정 예제만으로도 ALIGNER는 논거 검색 성능을 최대 15.7포인트 향상시켜 소수의 예제에 강력한 적응성을 보였다.
• 단일 중요도 기반 정렬 제거로 문서 토큰 저장량을 80% 감소시키고 질의 토큰 사용량을 50% 줄였으며, nDCG@10 감소 폭이 1포인트 미만이었다.
• 모델은 해석 가능한 정렬을 생성하며, 높은 중요도를 가진 토큰은 종종 의미적으로 관련된 용어와 일치한다(예: 'heart'가 문서에서 'heart'와 정렬됨).
• 더 큰 언어 모델에서 초기화함으로써 ALIGNER의 성능이 크게 향상되었으며, 이는 사전 훈련된 언어 모델 사전 지식과의 강력한 호환성을 시사한다.
• 중요도 학습을 위한 엔트로피 정규화된 선형 프로그래밍 방법은 희박성과 검색 정확도 면에서 L1 정규화 및 ReLU 게이팅보다 뛰어나다.