[论文解读] An Analysis of Fusion Functions for Hybrid Retrieval

Sebastian Bruch, Siyu Gai+1 more|arXiv (Cornell University)|Oct 21, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文分析了混合词法-语义检索中的凸组合（CC）与互反排名融合（RRF），表明CC在域内和域外设置下均优于RRF。结果表明CC对归一化选择具有鲁棒性，样本效率极高（在使用少于5%训练数据时即收敛），且对超参数的敏感性低于RRF，挑战了先前认为RRF在零样本场景下更优的观点。

ABSTRACT

We study hybrid search in text retrieval where lexical and semantic search are fused together with the intuition that the two are complementary in how they model relevance. In particular, we examine fusion by a convex combination (CC) of lexical and semantic scores, as well as the Reciprocal Rank Fusion (RRF) method, and identify their advantages and potential pitfalls. Contrary to existing studies, we find RRF to be sensitive to its parameters; that the learning of a CC fusion is generally agnostic to the choice of score normalization; that CC outperforms RRF in in-domain and out-of-domain settings; and finally, that CC is sample efficient, requiring only a small set of training examples to tune its only parameter to a target domain.

研究动机与目标

• 重新评估凸组合（CC）与互反排名融合（RRF）在混合词法-语义检索中的性能与鲁棒性。
• 探究CC是否如先前研究所述对得分归一化方式敏感。
• 评估RRF对其参数的敏感性，以及其是否确实在零样本设置中表现更优。
• 评估在目标领域上调节CC单个超参数α的样本效率。
• 确定RRF的非参数性质是否能持续优于可学习的、参数化的融合函数。

提出的方法

• 提出一种凸组合融合函数：f_Convex = α·f_Sem + (1−α)·f_Lex，其中α在小规模标注集上进行调优。
• 采用最小-最大归一化、标准得分归一化及其他线性归一化方案，评估CC对归一化选择的敏感性。
• 使用可调参数η的RRF，并引入一种参数化变体RRF-CC，为词法与语义组件分别设置独立权重。
• 在训练集子集上采用渐进式训练（每5%步长）以测量α与RRF参数的收敛速度。
• 使用NDCG@10在多个域内与域外数据集的测试集上衡量性能。
• 分析不同归一化方案下的排名等价性，表明无论采用何种归一化类型，均存在等效的CC解。

实验结果

研究问题

• RQ1 正如先前研究所述，凸组合融合是否对得分归一化方式的选择敏感？
• RQ2 互反排名融合（RRF）对其超参数，特别是η，的敏感性如何？
• RQ3 凸组合是否在域内与域外检索设置中均优于RRF？
• RQ4 需要多少训练样本才能有效调优凸组合中的超参数α？
• RQ5 非参数融合方法如RRF是否可能被简单、可学习的参数化融合函数（如CC）超越？

主要发现

• 凸组合融合对得分归一化方式的选择不敏感；在最小-最大归一化、标准得分归一化及其他线性归一化下，均存在等效解。
• RRF对参数η敏感，与先前认为其真正非参数且在零样本设置中鲁棒的观点相矛盾。
• 凸组合在域内与域外检索基准中均优于RRF，与先前研究结论相悖。
• 凸组合中的超参数α在使用少于5%的训练数据时即完成收敛，表现出极高的样本效率。
• 为RRF项添加可学习权重（RRF-CC）并未显著提升性能，表明利普希茨连续性与稳定性是关键因素。
• α的稳健范围为[0.6, 0.8]，该范围在多种数据集上均能持续提升检索性能。