[论文解读] Improving Retrieval-Augmented Large Language Models via Data Importance Learning

Xiaozhong Lyu, Stefan Grafberger+5 more|arXiv (Cornell University)|Jul 6, 2023

Topic Modeling被引用 4

一句话总结

本文提出一种基于多线性扩展的数据重要性学习框架，通过在不进行微调的情况下重新加权或剪枝检索语料库条目，以提升检索增强型大语言模型（RAG）的性能。该方法提出了一种精确的多项式时间算法以及一种高效的 $(\epsilon,\delta)$-近似算法，使模型在问答等任务中实现性能提升，表明即使使用小型模型（GPT-JT），在结合高重要性数据后也能超越 GPT-3.5。

ABSTRACT

Retrieval augmentation enables large language models to take advantage of external knowledge, for example on tasks like question answering and data imputation. However, the performance of such retrieval-augmented models is limited by the data quality of their underlying retrieval corpus. In this paper, we propose an algorithm based on multilinear extension for evaluating the data importance of retrieved data points. There are exponentially many terms in the multilinear extension, and one key contribution of this paper is a polynomial time algorithm that computes exactly, given a retrieval-augmented model with an additive utility function and a validation set, the data importance of data points in the retrieval corpus using the multilinear extension of the model's utility function. We further proposed an even more efficient (ε, δ)-approximation algorithm. Our experimental results illustrate that we can enhance the performance of large language models by only pruning or reweighting the retrieval corpus, without requiring further training. For some tasks, this even allows a small model (e.g., GPT-JT), augmented with a search engine API, to outperform GPT-3.5 (without retrieval augmentation). Moreover, we show that weights based on multilinear extension can be computed efficiently in practice (e.g., in less than ten minutes for a corpus with 100 million elements).

研究动机与目标

• 解决因检索语料库质量低下或存在噪声而导致的检索增强型大语言模型性能瓶颈。
• 开发一种基于数据点对模型效用影响的量化方法，以衡量检索语料库中单个数据点的重要性。
• 通过语料库重加权或剪枝实现 RAG 模型性能提升，且无需额外训练。
• 提供一种高效的确切算法和一种实用的 $(\epsilon,\delta)$-近似算法，实现在多项式时间内计算数据重要性。

提出的方法

• 该方法使用模型效用函数的多线性扩展，表示在所有检索语料库子集上的预期性能。
• 将数据重要性形式化为多线性扩展对每个数据点权重的导数，从而实现在多项式时间内精确计算。
• 提出一种高效的 $(\epsilon,\delta)$-近似算法，可扩展至大规模语料库（如 1 亿个条目），并保证误差边界。
• 该方法利用可加性效用函数和验证集，评估每个数据点对整体模型性能的贡献。
• 基于数据重要性得分对检索语料库进行重加权或剪枝，从而提升推理阶段性能。
• 该框架应用于包含检索器和生成器的 RAG 模型，仅修改检索语料库，不调整模型参数。

Figure 1: Data importance evaluation for retrieval-augmented models: The retriever $f_{ret}$ retrieves $K$ data points from the retrieval corpus $\mathcal{D}_{ret}$ and provides them to the answer generator $f_{gen}$ . Our data importance evaluator learns weights for the data sources in the retrieva

实验结果

研究问题

• RQ1 能否通过多线性扩展计算的数据重要性得分，在不微调的情况下提升检索增强型大语言模型？
• RQ2 对于大规模检索语料库（如 1 亿个条目），数据重要性能否实现高效计算？
• RQ3 基于数据重要性的剪枝或重加权在多大程度上能超越标准检索增强方法？
• RQ4 当使用高重要性数据增强时，较小的大语言模型（如 GPT-JT）能否超越更大的模型（如 GPT-3.5）？
• RQ5 该方法在多样化自然语言处理任务（如问答和数据补全）中表现如何？

主要发现

• 所提出的精确算法可在多项式时间内计算数据重要性，使其适用于大规模语料库。
• $(\epsilon,\delta)$-近似算法在计算成本低的情况下实现了高精度，支持实际部署。
• 基于数据重要性的检索语料库重加权或剪枝在所有评估任务中均提升了模型性能，且无需任何模型微调。
• 在 WikiFact 问答基准测试中，使用基于数据重要性的检索的 GPT-JT（6B）在多个关系上超越了 GPT-3.5（175B），准确率最高达 77.5%。
• 该方法具有高效可扩展性：在标准机器上，1 亿个条目语料库的数据重要性计算耗时不足十分钟。
• 性能最佳的配置相较基线检索增强型模型，实现了 20%-30% 的相对准确率提升。

Figure 2: Accuracy for question answering on the 70 relations from WikiFact .