[论文解读] LLMs are Also Effective Embedding Models: An In-depth Overview

Chongyang Tao, Tao Shen+7 more|arXiv (Cornell University)|Dec 17, 2024

Financial Distress and Bankruptcy Prediction被引用 4

一句话总结

本综述表明，大型语言模型（LLMs）作为嵌入模型极为有效，通过两种主要方法超越了传统仅编码器模型（如 BERT）：一是经过优化的提示设计的直接提示法，二是涉及架构、训练目标和数据构建的数据中心微调。其主要贡献是一个全面的框架，用于利用 LLM 生成高性能、通用的密集嵌入，在检索、分类和 RAG 任务中表现优异。

ABSTRACT

Large language models (LLMs) have revolutionized natural language processing by achieving state-of-the-art performance across various tasks. Recently, their effectiveness as embedding models has gained attention, marking a paradigm shift from traditional encoder-only models like ELMo and BERT to decoder-only, large-scale LLMs such as GPT, LLaMA, and Mistral. This survey provides an in-depth overview of this transition, beginning with foundational techniques before the LLM era, followed by LLM-based embedding models through two main strategies to derive embeddings from LLMs. 1) Direct prompting: We mainly discuss the prompt designs and the underlying rationale for deriving competitive embeddings. 2) Data-centric tuning: We cover extensive aspects that affect tuning an embedding model, including model architecture, training objectives, data constructions, etc. Upon the above, we also cover advanced methods for producing embeddings from longer texts, multilingual, code, cross-modal data, as well as reasoning-aware and other domain-specific scenarios. Furthermore, we discuss factors affecting choices of embedding models, such as performance/efficiency comparisons, dense vs sparse embeddings, pooling strategies, and scaling law. Lastly, the survey highlights the limitations and challenges in adapting LLMs for embeddings, including cross-task embedding quality, trade-offs between efficiency and accuracy, low-resource, long-context, data bias, robustness, etc. This survey serves as a valuable resource for researchers and practitioners by synthesizing current advancements, highlighting key challenges, and offering a comprehensive framework for future work aimed at enhancing the effectiveness and efficiency of LLMs as embedding models.

研究动机与目标

• 分析从仅编码器模型（如 BERT）到仅解码器 LLM（如 GPT、LLaMA）作为有效嵌入模型的范式转变。
• 系统比较无需微调和微调后的基于 LLM 的嵌入方法，重点关注提示设计和以数据为中心的适应策略。
• 评估在不同设置中基于 LLM 的嵌入在效率、准确性和鲁棒性之间的权衡。
• 识别开放性挑战，如低资源适应、对抗性脆弱性，以及预训练目标与嵌入目标之间的错位。

提出的方法

• 将基于 LLM 的嵌入方法分为两大策略：直接提示法和以数据为中心的微调。
• 分析提示工程技术，包括指令微调和对比提示，以在无需微调的情况下生成高质量嵌入。
• 回顾模型架构选择、损失函数（如对比损失）以及数据构建方法（如合成数据、检索增强数据），以实现有效的微调。
• 考察池化策略（如平均池化、[CLS] 池化）及其对嵌入质量与下游性能的影响。
• 评估基于 LLM 的嵌入系统中的缩放定律及效率-准确率权衡。
• 讨论长上下文、多语言和跨模态嵌入生成的高级技术。

Figure 1: Illustration of direct prompting or tuning LLMs as embedding models.

实验结果

研究问题

• RQ1 LLM 在生成有效语义嵌入方面与传统仅编码器模型（如 BERT）相比如何？
• RQ2 在不进行微调的情况下，从 LLM 直接生成高质量嵌入的最有效提示策略是什么？
• RQ3 通过架构、目标和数据整理实现的以数据为中心的微调，如何提升基于 LLM 的嵌入性能？
• RQ4 在低资源、长上下文或多语言领域中，适应 LLM 嵌入的关键挑战是什么？
• RQ5 如何使 LLM 嵌入对对抗性攻击和分布偏移具有鲁棒性？

主要发现

• GPT、LLaMA 和 Mistral 等 LLM 凭借其更大的上下文建模能力和在数万亿 token 上的广泛预训练，在嵌入任务中达到最先进性能。
• 通过精心设计的提示进行直接提示法，可生成与微调模型相媲美、甚至更具竞争力的嵌入，从而减少对昂贵微调的需求。
• 以数据为中心的微调（包括对比损失和精心整理的数据）显著提升了嵌入质量，尤其在下游检索和分类任务中表现突出。
• 平均池化和基于 [CLS] 的池化策略在性能上表现出可测量的差异，其中平均池化通常在泛化能力上更优。
• LLM 在低资源领域面临挑战，由于数据稀缺和领域偏移，若无领域特定微调，其泛化能力较差。
• 对抗鲁棒性仍是关键限制，因为微小的输入扰动可能显著改变嵌入，威胁在安全敏感应用中的实际部署。

Figure 3: The performance trend of models with varying sizes on MTEB benchmark, based on results from Muennighoff et al. ( 2022 ) .