[論文レビュー] An Analysis of Fusion Functions for Hybrid Retrieval

Sebastian Bruch, Siyu Gai+1 more|arXiv (Cornell University)|Oct 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

この論文は、ハイブリッド語彙的意味的検索における凸結合（CC）と逆順位融合（RRF）を分析し、ドメイン内およびドメイン外の両設定においてCCがRRFを上回ることを示している。CCは正規化の選択に対して頑健であり、学習データの5％未満で収束するほど高いサンプル効率を示し、RRFよりもハイパーパramータに敏感でないことが判明し、従来のRRFがゼロショット設定で優れているという主張に疑問を呈している。

ABSTRACT

We study hybrid search in text retrieval where lexical and semantic search are fused together with the intuition that the two are complementary in how they model relevance. In particular, we examine fusion by a convex combination (CC) of lexical and semantic scores, as well as the Reciprocal Rank Fusion (RRF) method, and identify their advantages and potential pitfalls. Contrary to existing studies, we find RRF to be sensitive to its parameters; that the learning of a CC fusion is generally agnostic to the choice of score normalization; that CC outperforms RRF in in-domain and out-of-domain settings; and finally, that CC is sample efficient, requiring only a small set of training examples to tune its only parameter to a target domain.

研究の動機と目的

• ハイブリッド語彙的意味的検索における凸結合（CC）と逆順位融合（RRF）の性能と頑健性を再評価すること。
• 先行研究が示唆するように、CCがスコア正規化の選択に敏感であるかどうかを調査すること。
• RRFがハイパーパramータにどれほど敏感であるか、およびゼロショット設定で真に優れているかどうかを評価すること。
• CCの単一ハイパーパramータαのチューニングに必要な訓練例の数を評価すること。
• 非パramトリックな融合、たとえばRRFが、学習可能なパラメトリックな融合関数よりも一貫した利点を提供するかどうかを検証すること。

提案手法

• 凸結合融合関数の提案：f_Convex = α·f_Sem + (1−α)·f_Lex、ここでαは小さなラベル付きデータセット上でチューニングされる。
• 最小-最大正規化、標準スコア、その他の線形正規化手法を用いて、CCの正規化選択に対する感受性を評価する。
• 調整可能なパラメータηを有するRRFを採用し、語彙的および意味的成分に別々の重みを割り当てるパラメトリック変種RRF-CCを導入する。
• 訓練スプリットのサブセットを段階的に増加させながらプログレッシブトレーニングを実施し、αおよびRRFパラメータの収束速度を測定する（5%刻み）。
• 複数のドメイン内およびドメイン外データセットにおけるテストスプリットでNDCG@10を用いて性能を測定する。
• 正規化手法間でのランク同等性を分析し、正規化タイプに関わらず同等のCC解が存在することを示す。

実験結果

リサーチクエスチョン

• RQ1 先行研究が主張するように、凸結合融合はスコア正規化の選択に敏感であるか？
• RQ2 逆順位融合（RRF）はそのハイパーパramータ、特にηにどれほど敏感であるか？
• RQ3 凸結合はドメイン内およびドメイン外の検索ベンチマークの両方でRRFを上回るか？
• RQ4 凸結合のハイパーパramータαを効果的にチューニングするために、どの程度の訓練例が必要か？
• RQ5 非パラメトリックな融合（たとえばRRF）は、単純で学習可能なパラメトリックな融合関数（たとえばCC）に劣るのか？

主な発見

• 凸結合融合はスコア正規化の選択に敏感ではなく、最小-最大正規化、標準スコア、その他の線形正規化の間で同等の解が存在する。
• RRFはパラメータηに敏感であり、ゼロショット設定で真に非パラメトリックで頑健であるという主張とは対照的である。
• 凸結合はドメイン内およびドメイン外の検索ベンチマークの両方でRRFを上回る。これは従来の主張と矛盾する。
• 凸結合のハイパーパラメータαは、訓練データの5％未満で収束し、高いサンプル効率を示している。
• RRFの項に学習可能な重みを追加したRRF-CCは、性能向上に寄与しない。これは、リプシッツ連続性と安定性が重要な要因であることを示唆している。
• αの頑健な範囲は[0.6, 0.8]であり、多様なデータセットで一貫して検索性能を向上させる。