[论文解读] Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy

Zhihong Shao, Yeyun Gong+4 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 5

一句话总结

本文提出迭代检索-生成（I ter -R et G en ），一种在大型语言模型中协同交替进行检索与生成的方法，以提升复杂推理任务的性能。通过利用模型生成的响应迭代优化检索查询，该方法增强了相关性建模，并在更少的检索与生成开销下，优于当前最先进的检索增强方法，在多跳问答基准上实现了高达8.6%的绝对准确率提升。

ABSTRACT

Large language models are powerful text processors and reasoners, but are still subject to limitations including outdated knowledge and hallucinations, which necessitates connecting them to the world. Retrieval-augmented large language models have raised extensive attention for grounding model generation on external knowledge. However, retrievers struggle to capture relevance, especially for queries with complex information needs. Recent work has proposed to improve relevance modeling by having large language models actively involved in retrieval, i.e., to improve retrieval with generation. In this paper, we show that strong performance can be achieved by a method we call Iter-RetGen, which synergizes retrieval and generation in an iterative manner. A model output shows what might be needed to finish a task, and thus provides an informative context for retrieving more relevant knowledge which in turn helps generate a better output in the next iteration. Compared with recent work which interleaves retrieval with generation when producing an output, Iter-RetGen processes all retrieved knowledge as a whole and largely preserves the flexibility in generation without structural constraints. We evaluate Iter-RetGen on multi-hop question answering, fact verification, and commonsense reasoning, and show that it can flexibly leverage parametric knowledge and non-parametric knowledge, and is superior to or competitive with state-of-the-art retrieval-augmented baselines while causing fewer overheads of retrieval and generation. We can further improve performance via generation-augmented retrieval adaptation.

研究动机与目标

• 为解决检索增强型大型语言模型中一次性检索的局限性，特别是针对复杂信息需求的问题。
• 克服现有交错式检索-生成工作流在结构上的限制以及高昂的开销。
• 通过利用模型生成的响应作为动态查询上下文，实现迭代检索，从而改进相关性建模。
• 实现在大型语言模型中参数化知识与非参数化知识的有效协同。
• 通过生成增强的检索方法适应密集检索器，减少对昂贵重排序标注的依赖。

提出的方法

• I ter -R et G en 在检索增强生成与生成增强检索之间以迭代循环方式交替进行。
• 初始检索使用任务输入作为查询；后续检索则使用模型生成的响应作为优化后的查询。
• 每次迭代中检索到的所有知识均被聚合，并在下一步生成中集体使用，从而保持生成的灵活性。
• 该方法支持少样本提示（few-shot prompting）与思维链（chain-of-thought）示范，且无需修改生成结构。
• 生成增强的检索适应方法将来自重排序器（使用模型输出）的知识蒸馏到仅使用任务输入的密集检索器中。
• 该方法在少样本设置下进行评估，无需显式重排序或检索相关性的标注。

实验结果

研究问题

• RQ1 迭代式的检索与生成协同作用是否能在复杂推理任务上超越一次性检索的性能？
• RQ2 使用模型生成的响应作为动态检索查询，是否能带来更相关知识的检索？
• RQ3 与多轮交错式方法相比，该方法是否能降低检索与生成的开销？
• RQ4 当同时利用参数化知识与非参数化知识时，该方法表现如何？
• RQ5 生成增强的检索适应是否能在减少迭代次数的同时提升性能？

主要发现

• I ter -R et G en 在六组多跳问答数据集中的四组上，相对于当前最先进的检索增强方法，准确率绝对提升高达8.6%。
• 在其余两组数据集上，该方法也表现出竞争力，表明其在多样化推理任务中具有广泛的有效性。
• 性能随迭代次数增加而提升，大多数设置下两次迭代带来最大增益。
• 生成增强的检索适应进一步提升了性能，并减少了所需迭代次数，从而降低了开销。
• 自动指标（如精确匹配）可能显著低估大型语言模型的性能，而基于大型语言模型的评估则显示出更可靠的性能提升。
• I ter -R et G en 在问答任务中始终优于Self-Ask，即使非参数化知识中未显式包含答案，也凸显了参数化与非参数化知识的有效融合。