[论文解读] Enhancing Embedding Performance through Large Language Model-based Text Enrichment and Rewriting

Nicholas C. Harris, Anand Butani+1 more|arXiv (Cornell University)|Apr 18, 2024

Topic Modeling被引用 4

一句话总结

本文提出通过使用 GPT-3.5 在嵌入前对输入文本进行丰富和重写，以提升文本嵌入性能，从而改善语法、上下文和术语使用。在 TwitterSemEval 2015 数据集上，最佳提示实现了 85.34 的余弦相似度得分，较 MTEB 排行榜上先前的 SOTA 模型高出 8.21 分。

ABSTRACT

Embedding models are crucial for various natural language processing tasks but can be limited by factors such as limited vocabulary, lack of context, and grammatical errors. This paper proposes a novel approach to improve embedding performance by leveraging large language models (LLMs) to enrich and rewrite input text before the embedding process. By utilizing ChatGPT 3.5 to provide additional context, correct inaccuracies, and incorporate metadata, the proposed method aims to enhance the utility and accuracy of embedding models. The effectiveness of this approach is evaluated on three datasets: Banking77Classification, TwitterSemEval 2015, and Amazon Counter-factual Classification. Results demonstrate significant improvements over the baseline model on the TwitterSemEval 2015 dataset, with the best-performing prompt achieving a score of 85.34 compared to the previous best of 81.52 on the Massive Text Embedding Benchmark (MTEB) Leaderboard. However, performance on the other two datasets was less impressive, highlighting the importance of considering domain-specific characteristics. The findings suggest that LLM-based text enrichment has shown promising results to improve embedding performance, particularly in certain domains. Hence, numerous limitations in the process of embedding can be avoided.

研究动机与目标

• 通过利用大语言模型进行预处理，解决文本嵌入模型在上下文处理能力差、对语法敏感以及词汇量有限等方面的局限性。
• 探究基于大语言模型的文本增强与重写是否能在不微调嵌入模型本身的情况下提升下游 NLP 任务的性能。
• 评估不同提示工程策略在提升多样化 NLP 数据集上嵌入质量方面的有效性。
• 确定基于大语言模型增强的文本预处理是否能在基准任务上超越强大的基线嵌入模型。

提出的方法

• 利用 GPT-3.5 对原始输入文本进行重写与增强，纠正语法错误、解决歧义、展开缩略语，并添加上下文元数据。
• 应用四种不同的提示策略——从通用指令到任务特定、简洁且优化的提示——以引导大语言模型完成文本增强。
• 将增强后的文本输入到 text-embedding-3-large 模型中进行向量化表示，且不对其嵌入模型进行任何微调。
• 使用标准基准进行性能评估：MTEB 用于 TwitterSemEval 2015、Banking77Classification 和 Amazon Counter-factual Classification。
• 对比不同提示变体与基线模型（包括 text-embedding-3-large 和 SFR-Embedding-Mistral）的结果。
• 对大语言模型生成的文本进行定性分析，以评估其在连贯性、信息量和语义清晰度方面的改进。

实验结果

研究问题

• RQ1 基于大语言模型的文本增强是否能显著提升预训练文本嵌入模型在下游 NLP 任务中的性能？
• RQ2 针对大语言模型文本重写的各类提示策略如何影响最终嵌入的质量？
• RQ3 基于大语言模型的预处理是否能在基准数据集上超越强大的基线嵌入模型（如 text-embedding-3-large 和 SFR-Embedding-Mistral）？
• RQ4 与原始输入相比，大语言模型增强后的文本在语义丰富度和歧义减少方面有何改进？
• RQ5 为何该方法在某些数据集（如 TwitterSemEval 2015）上表现优异，而在其他数据集（如 Banking77 和 Amazon Counter-factual）上表现不佳？

主要发现

• 表现最佳的提示（Prompt 4）在 TwitterSemEval 2015 数据集上实现了 85.34 的余弦相似度得分，显著优于基线模型 text-embedding-3-large（77.13），高出 8.21 分。
• Prompt 4 在 MTEB 排行榜的 TwitterSemEval 2015 基准上也超越了领先的模型 SFR-Embedding-Mistral。
• 在 Banking77Classification 数据集上，最佳提示（Prompt 4）达到了 79.71% 的准确率，但仍低于基线模型的性能。
• 在 Amazon Counter-factual Classification 数据集上，最佳提示（Prompt 4）达到了 68.0% 的准确率，未达到基线模型的性能。
• 定性分析表明，GPT-3.5 有效提升了文本质量，包括纠正错误、消除多义词歧义、展开缩略语，并增加相关上下文和元数据。
• 本研究证明，基于大语言模型的文本增强可在特定领域（尤其是非正式或含糊的文本，如社交媒体文本）中显著提升嵌入性能。