[論文レビュー] Enhancing Embedding Performance through Large Language Model-based Text Enrichment and Rewriting

Nicholas C. Harris, Anand Butani+1 more|arXiv (Cornell University)|Apr 18, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、テキスト埋め込みのパフォーマンスを向上させるために、GPT-3.5を用いて入力テキストを豊かにし、再書き直すことで、文法、文脈、用語の質を向上させる手法を提案する。TwitterSemEval 2015 データセットにおいて、最良のプロンプトがコサイン類似度スコア85.34を達成し、MTEBランクイングの前回SOTAより8.21ポイント高いスコアを記録した。

ABSTRACT

Embedding models are crucial for various natural language processing tasks but can be limited by factors such as limited vocabulary, lack of context, and grammatical errors. This paper proposes a novel approach to improve embedding performance by leveraging large language models (LLMs) to enrich and rewrite input text before the embedding process. By utilizing ChatGPT 3.5 to provide additional context, correct inaccuracies, and incorporate metadata, the proposed method aims to enhance the utility and accuracy of embedding models. The effectiveness of this approach is evaluated on three datasets: Banking77Classification, TwitterSemEval 2015, and Amazon Counter-factual Classification. Results demonstrate significant improvements over the baseline model on the TwitterSemEval 2015 dataset, with the best-performing prompt achieving a score of 85.34 compared to the previous best of 81.52 on the Massive Text Embedding Benchmark (MTEB) Leaderboard. However, performance on the other two datasets was less impressive, highlighting the importance of considering domain-specific characteristics. The findings suggest that LLM-based text enrichment has shown promising results to improve embedding performance, particularly in certain domains. Hence, numerous limitations in the process of embedding can be avoided.

研究の動機と目的

• 文法的感度、文脈処理の不足、語彙の制限といったテキスト埋め込みモデルの限界を、LLMを用いた前処理によって是正すること。
• 埋め込みモデル自体の微調整なしに、LLMベースのテキスト豊か化と再書き直しが、下流NLPタスクのパフォーマンスを向上させることを検証すること。
• 異なるプロンプト工学戦略が、多様なNLPデータセットにおける埋め込み品質の向上に与える影響を評価すること。
• LLM増強テキスト前処理が、ベンチマークタスクにおいて強力なベースライン埋め込みモデルを上回ることを検証すること。

提案手法

• 文法の是正、曖昧な表現の解消、省略語の展開、文脈的メタデータの追加により、GPT-3.5を用いて生の入力テキストを再書き直し、豊かにする。
• 一般指示からタスク固有の簡潔で最適化されたプロンプトまで、4つの異なるプロンプト戦略を用い、LLMによるテキスト強化を誘導する。
• 埋め込みモデルであるtext-embedding-3-largeに、微調整を加えずに豊かにされたテキストを入力し、ベクトル化する。
• MTEBを用いた標準ベンチマークで評価する：TwitterSemEval 2015、Banking77Classification、Amazon Counter-factual Classification。
• プロンプトのバリエーションと、text-embedding-3-large や SFR-Embedding-Mistral といったベースラインモデルとの間で結果を比較する。
• LLM生成テキストの定性的分析を行い、一貫性、情報量、意味的明確性の向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのテキスト豊か化は、事前学習済みテキスト埋め込みモデルの下流NLPタスクにおけるパフォーマンスを顕著に向上させることができるか？
• RQ2 LLMベースのテキスト再書き直しに用いる異なるプロンプト戦略が、得られる埋め込みの品質にどのように影響するか？
• RQ3 LLMベースの前処理は、text-embedding-3-large や SFR-Embedding-Mistral といった強力なベースライン埋め込みモデルを、ベンチマークデータセットで上回ることができるか？
• RQ4 LLM強化テキストは、生の入力テキストと比較して、意味的豊かさをどのように向上させ、曖昧さをどのように低減するか？
• RQ5 なぜ本手法は、TwitterSemEval 2015 では顕著な向上を示すが、Banking77 や Amazon Counter-factual ではそうでないのか？

主な発見

• 最良のプロンプト（プロンプト4）は、TwitterSemEval 2015 データセットでコサイン類似度スコア85.34を達成し、ベースラインのtext-embedding-3-largeモデル（77.13）を8.21ポイントも上回った。
• プロンプト4は、MTEBランクイングの最良モデルであるSFR-Embedding-Mistralに対しても、TwitterSemEval 2015ベンチマークで上回った。
• Banking77Classificationデータセットでは、最良のプロンプト（プロンプト4）が79.71%の正答率を達成したが、これはベースラインモデルのパフォーマンスを下回った。
• Amazon Counter-factual Classificationデータセットでは、最良のプロンプト（プロンプト4）が68.0%の正答率を記録したが、ベースラインモデルのパフォーマンスに及ばなかった。
• 定性的分析により、GPT-3.5が誤りの是正、多義語の解消、省略語の展開、関連する文脈とメタデータの追加により、テキストの質を効果的に向上させていることが確認された。
• 本研究では、特にSNSテキストのように非公式または曖昧なテキストにおいて、LLMベースのテキスト豊か化が埋め込みパフォーマンスを顕著に向上させられることを示した。