[論文レビュー] LLMs are Also Effective Embedding Models: An In-depth Overview

Chongyang Tao, Tao Shen+7 more|arXiv (Cornell University)|Dec 17, 2024

Financial Distress and Bankruptcy Prediction被引用数 4

ひとこと要約

本サーベイは、大規模言語モデル（LLM）が、プロンプト設計の最適化とデータ中心のファインチューニング（アーキテクチャ、学習目的、データ構築を含む）の2つの主なアプローチを通じて、BERTのような従来のエンコーダー専用モデルを凌駕する優れた埋め込みモデルであることを確立している。主な貢献は、リtrieval、分類、RAGタスクのあらゆる分野で優れたパフォーマンスを示す、高密度で汎用的な埋め込みを活用する包括的なフレームワークの構築である。

ABSTRACT

Large language models (LLMs) have revolutionized natural language processing by achieving state-of-the-art performance across various tasks. Recently, their effectiveness as embedding models has gained attention, marking a paradigm shift from traditional encoder-only models like ELMo and BERT to decoder-only, large-scale LLMs such as GPT, LLaMA, and Mistral. This survey provides an in-depth overview of this transition, beginning with foundational techniques before the LLM era, followed by LLM-based embedding models through two main strategies to derive embeddings from LLMs. 1) Direct prompting: We mainly discuss the prompt designs and the underlying rationale for deriving competitive embeddings. 2) Data-centric tuning: We cover extensive aspects that affect tuning an embedding model, including model architecture, training objectives, data constructions, etc. Upon the above, we also cover advanced methods for producing embeddings from longer texts, multilingual, code, cross-modal data, as well as reasoning-aware and other domain-specific scenarios. Furthermore, we discuss factors affecting choices of embedding models, such as performance/efficiency comparisons, dense vs sparse embeddings, pooling strategies, and scaling law. Lastly, the survey highlights the limitations and challenges in adapting LLMs for embeddings, including cross-task embedding quality, trade-offs between efficiency and accuracy, low-resource, long-context, data bias, robustness, etc. This survey serves as a valuable resource for researchers and practitioners by synthesizing current advancements, highlighting key challenges, and offering a comprehensive framework for future work aimed at enhancing the effectiveness and efficiency of LLMs as embedding models.

研究の動機と目的

• エンコーダー専用モデル（例：BERT）からデコーダー専用のLLM（例：GPT、LLaMA）へのパラダイムシフトが、効果的な埋め込みモデルとしてどのように機能するかを分析すること。
• ファインチューニングを伴わない方法とファインチューニング済みのLLMベース埋め込み手法を体系的に比較し、プロンプト設計とデータ中心の適応戦略に焦点を当てる。
• 多様な設定における効率性、正確性、耐性のトレードオフを、LLMベースの埋め込みにおいて評価すること。
• 低リソース環境への適応、敵対的脆弱性、事前学習目的と埋め込み目的の間の不一致といった、未解決の課題を特定すること。

提案手法

• LLMベースの埋め込み手法を、直接プロンプト処理とデータ中心のチューニングの2つの主要戦略に分類する。
• 指示チューニングや対照的プロンプトなど、ファインチューニングなしで高品質な埋め込みを導出するためのプロンプト工学技術を分析する。
• モデルアーキテクチャの選択、損失関数（例：対照的損失）、データ構築手法（例：合成データ、リtrieval拡張データ）をレビューし、効果的なファインチューニングを実現する。
• プーリング戦略（例：平均プーリング、CLS、[CLS]）とその埋め込み品質および下流タスクパフォーマンスへの影響を検討する。
• LLMベース埋め込みシステムにおけるスケーリング則と、効率性と正確性のトレードオフを評価する。
• 長文脈、多言語、クロスモodalな埋め込み生成のための高度な技術を議論する。

Figure 1: Illustration of direct prompting or tuning LLMs as embedding models.

実験結果

リサーチクエスチョン

• RQ1 LLMは、BERTのような従来のエンコーダー専用モデルと比較して、どのように効果的な意味的埋め込みを生成するか？
• RQ2 ファインチューニングなしでLLMから直接高品質な埋め込みを導出するための最も効果的なプロンプト戦略は何か？
• RQ3 アーキテクチャ、目的、データキュレーションを通じたデータ中心のファインチューニングが、LLMベースの埋め込みパフォーマンスをどのように向上させるか？
• RQ4 低リソース、長文脈、多言語ドメインへのLLM埋め込みの適応において、主な課題は何か？
• RQ5 LLM埋め込みを敵対的攻撃や分布シフトに対してどのように耐性を持たせることができるか？

主な発見

• GPT、LLaMA、MistralなどのLLMは、トランスフォーマーの大きな文脈モデリング能力と、数千兆トークンにわたる膨大な事前学習データのおかげで、埋め込みタスクで最先端のパフォーマンスを達成している。
• 注意深く設計された指示を用いた直接的プロンプト処理により、ファインチューニング済みモデルと同等のパフォーマンスを示す埋め込みを生成でき、高価なファインチューニングの必要性を低減できる。
• 対照的損失やキュレートされたデータを含むデータ中心のチューニングは、特にリtrievalや分類タスクにおける埋め込み品質を顕著に向上させる。
• 平均プーリングや[CLS]ベースのプーリングといったプーリング戦略には、性能に顕著な差が見られ、一般化性能において平均プーリングがしばしば優れている。
• データ不足やドメインシフトのため、低リソースドメインではLLMが適応できないことが課題となっており、ドメイン特化のファインチューニングがなければ一般化性能が著しく低下する。
• 敵対的耐性は依然として深刻な制限であり、わずかな入力の摂動が埋め込みを大きく変化させる可能性があり、セキュリティが重要な応用分野への実用化を脅かす。

Figure 3: The performance trend of models with varying sizes on MTEB benchmark, based on results from Muennighoff et al. ( 2022 ) .