[논문 리뷰] An Analysis of Fusion Functions for Hybrid Retrieval

Sebastian Bruch, Siyu Gai외 1명|arXiv (Cornell University)|2022. 10. 21.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 하이브리드 어휘-의미 검색에서 볼록 조합(CC)과 역수 순위 융합(RRF)을 분석하여, 도메인 내 및 도메인 외 설정 모두에서 CC가 RRF를 능가함을 입증한다. CC는 정규화 방법 선택에 대해 강건하며, 훈련 데이터의 <5% 수준에서 수렴하는 데 매우 샘플 효율적이며, RRF보다 하이퍼파라미터에 덜 민감함을 보이며, 이는 이전 연구에서 RRF가 제로샷 환경에서 우월하다고 주장한 바와 도전한다.

ABSTRACT

We study hybrid search in text retrieval where lexical and semantic search are fused together with the intuition that the two are complementary in how they model relevance. In particular, we examine fusion by a convex combination (CC) of lexical and semantic scores, as well as the Reciprocal Rank Fusion (RRF) method, and identify their advantages and potential pitfalls. Contrary to existing studies, we find RRF to be sensitive to its parameters; that the learning of a CC fusion is generally agnostic to the choice of score normalization; that CC outperforms RRF in in-domain and out-of-domain settings; and finally, that CC is sample efficient, requiring only a small set of training examples to tune its only parameter to a target domain.

연구 동기 및 목표

• 볼록 조합(CC)과 역수 순위 융합(RRF)의 성능과 강건성을 하이브리드 어휘-의미 검색에서 재평가하는 것.
• 이전 연구에서 제기한 lin, CC가 점수 정규화 방법에 민감한가를 조사하는 것.
• RRF가 하이퍼파라미터에 얼마나 민감한지, 그리고 실제로 제로샷 설정에서 더 잘 작동하는가를 평가하는 것.
• CC의 단일 하이퍼파라미터 α를 타겟 도메인에서 튜닝하는 데 필요한 훈련 예제 수를 평가하는 것.
• 비모수적 융합 방식인 RRF가 학습 가능한 파rameterized 융합 함수보다 일관된 이점을 제공하는지 여부를 판단하는 것.

제안 방법

• 볼록 조합 융합 함수를 제안: f_Convex = α·f_Sem + (1−α)·f_Lex, 여기서 α는 소규모 레이블된 데이터 세트에서 튜닝된다.
• 최소-최대 정규화, 표준 점수 정규화 및 기타 선형 정규화 방법을 사용하여 CC의 정규화 방법 선택에 대한 민감도를 평가한다.
• 조정 가능한 파rameter η를 가진 RRF를 사용하며, 어휘 및 의미 성분에 별도의 가중치를 가진 파arameterized 변형인 RRF-CC를 도입한다.
• 훈련 분할의 부분 집합에 대해 점진적 훈련을 수행하여 α 및 RRF 파rameter의 수렴 속도를 측정한다 (5% 단위로).
• 여러 도메인 내 및 도메인 외 데이터셋에서 테스트 분할에 대해 NDCG@10을 사용하여 성능을 측정한다.
• 정규화 방법 간 순위 등가성 분석을 수행하여, 다양한 정규화 유형에서도 동일한 CC 해가 존재함을 보여준다.

실험 결과

연구 질문

• RQ1 이전 연구에서 주장한 lin, 볼록 조합 융합은 점수 정규화 방법 선택에 민감한가?
• RQ2 역수 순위 융합(RRF)은 특히 η에 대해 얼마나 민감한가?
• RQ3 볼록 조합은 도메인 내 및 도메인 외 검색 설정 모두에서 RRF를 능가하는가?
• RQ4 볼록 조합의 하이퍼파라미터 α를 효과적으로 튜닝하기 위해 얼마나 많은 훈련 예제가 필요한가?
• RQ5 비모수적 융합 방식인 RRF는 간단하고 학습 가능한 파arameterized 융합 함수인 CC에 의해 능가될 수 있는가?

주요 결과

• 볼록 조합 융합은 점수 정규화 방법 선택에 민감하지 않으며, 최소-최대 정규화, 표준 점수 정규화 및 기타 선형 정규화 유형 간에 동일한 해가 존재한다.
• RRF는 이전 연구에서 주장한 lin 비모수적이고 제로샷 설정에서 강건하다는 것과는 달리 파arameter η에 민감하다.
• 볼록 조합은 도메인 내 및 도메인 외 검색 벤치마크에서 RRF를 능가하며, 이는 이전 연구의 주장과 정면으로 배치된다.
• 볼록 조합의 하이퍼파라미터 α는 훈련 데이터의 5% 미만에서도 수렴함을 보이며, 높은 샘플 효율성을 입증한다.
• RRF 항목에 학습 가능한 가중치를 추가한 RRF-CC는 성능 향상이 유의미하게 이루어지지 않아, 리프시츠 연속성과 안정성이 핵심 요소임을 시사한다.
• α에 대한 강건한 범위는 [0.6, 0.8]이며, 이 범위는 다양한 데이터셋에서 일관되게 검색 성능을 향상시킨다.