[论文解读] Beyond Benchmarks: Evaluating Embedding Model Similarity for Retrieval Augmented Generation Systems

Laura Caspari, Kanishka Ghosh Dastidar+3 more|arXiv (Cornell University)|Jul 11, 2024

Power Systems and Technologies被引用 4

一句话总结

本文通过中心化核对齐（Centered Kernel Alignment）评估嵌入模型在检索增强生成（RAG）系统中的表征相似性，以及通过Jaccard相似性和等级相似性评估检索结果的功能相似性。研究识别出模型家族内部和跨家族的聚类，但发现在低top-k值时检索相似性存在较高方差，尤其是在大规模数据集上，表明尽管存在相似性聚类，模型选择仍非显而易见。

ABSTRACT

The choice of embedding model is a crucial step in the design of Retrieval Augmented Generation (RAG) systems. Given the sheer volume of available options, identifying clusters of similar models streamlines this model selection process. Relying solely on benchmark performance scores only allows for a weak assessment of model similarity. Thus, in this study, we evaluate the similarity of embedding models within the context of RAG systems. Our assessment is two-fold: We use Centered Kernel Alignment to compare embeddings on a pair-wise level. Additionally, as it is especially pertinent to RAG systems, we evaluate the similarity of retrieval results between these models using Jaccard and rank similarity. We compare different families of embedding models, including proprietary ones, across five datasets from the popular Benchmark Information Retrieval (BEIR). Through our experiments we identify clusters of models corresponding to model families, but interestingly, also some inter-family clusters. Furthermore, our analysis of top-k retrieval similarity reveals high-variance at low k values. We also identify possible open-source alternatives to proprietary models, with Mistral exhibiting the highest similarity to OpenAI models.

研究动机与目标

• 为应对在选项迅速增长的背景下，为RAG系统选择最优嵌入模型的挑战。
• 超越基准分数，从表征和功能（检索）两个层面分析嵌入相似性。
• 识别行为相似的模型聚类，以简化模型选择，并为专有模型提供有根据的替代方案。
• 评估模型相似性在不同数据集和检索top-k值下的一致性。

提出的方法

• 使用中心化核对齐（CKA）测量19种不同嵌入模型生成的嵌入之间的成对相似性。
• 通过在五个BEIR数据集上计算top-k检索文本块的Jaccard相似性和等级相似性，评估RAG检索中的功能相似性。
• 在不同数据分布下，对比开源与专有模型（包括OpenAI、Cohere和Mistral系列模型）。
• 使用五个多样化的BEIR基准数据集，测试相似性模式在不同领域和数据规模下的鲁棒性。
• 在不同top-k值（尤其是RAG中常见的低k值）下分析相似性，以评估检索行为的稳定性。
• 通过在相似性评分上进行层次聚类，识别模型聚类，以指导模型选择和替代模型发现。

Figure 1. Mean CKA similarity across all five datasets. Models tend to be most similar to models belonging to their own family, though some interesting inter-family patterns are visible as well.

实验结果

研究问题

• RQ1 不同嵌入模型生成的嵌入在表征和检索任务的功能层面有多相似？
• RQ2 模型是否根据架构或来源聚类为家族？是否存在显著的跨家族相似性？
• RQ3 检索相似性如何随top-k值变化，特别是在RAG系统中常用的低k值下？
• RQ4 是否可以识别出开源模型作为OpenAI或Cohere等专有模型的有力替代？
• RQ5 模型相似性在不同数据集之间是否存在显著差异？是否受数据集大小或领域的影响？

主要发现

• 嵌入模型形成清晰的家族内聚类，同一家族的模型（如BGE、UAE、mxbai）在CKA和检索结果中均表现出高相似性。
• 存在跨家族聚类，其中bge-large-en-v1.5、UAE-Large-V1和mxbai-embed-large-v1形成显著聚类，即使在低top-k值下也表现出高相似性。
• 在低top-k值（如k=1至5）时，检索相似性表现出较高方差，尤其在大规模数据集上，表明不同模型检索到的文本块可能几乎完全不同。
• SFR-Embedding-Mistral在检索行为上与OpenAI模型的相似性最高，尽管在大规模数据集上top-10的Jaccard相似性仍较低。
• Cohere的嵌入模型在低k值下跨数据集表现出不一致的相似性，且无单一开源模型能作为一致的替代方案。
• 大多数模型对在top-10检索结果中的Jaccard相似性为低至中等，表明尽管嵌入表示相似，大语言模型检索到的上下文仍可能显著不同。

Figure 2. Rank similarity over all $k$ on NFCorpus, comparing gte-large to all other models. Scores are highest and vary most for small $k$ , but then drop quickly before stabilizing for larger $k$ .