[论文解读] A Survey on Retrieval-Augmented Text Generation

Huayang Li, Yixuan Su+3 more|arXiv (Cornell University)|Feb 2, 2022

Topic Modeling被引用 70

一句话总结

对检索增强文本生成的全面综述，概述该范式、来源、指标、整合方法及在对话、翻译及其他任务中的应用，以及未来方向。

ABSTRACT

Recently, retrieval-augmented text generation attracted increasing attention of the computational linguistics community. Compared with conventional generation models, retrieval-augmented text generation has remarkable advantages and particularly has achieved state-of-the-art performance in many NLP tasks. This paper aims to conduct a survey about retrieval-augmented text generation. It firstly highlights the generic paradigm of retrieval-augmented generation, and then it reviews notable approaches according to different tasks including dialogue response generation, machine translation, and other generation tasks. Finally, it points out some important directions on top of recent methods to facilitate future research.

研究动机与目标

• 给出一个面向检索增强文本生成的通用框架，包括检索来源、指标和整合方法。
• 调查在关键NLP任务中的知名方法，包括对话应答生成、机器翻译和其他生成任务。
• 分析局限性并确定有前景的方向，以指导检索增强生成的未来研究。

提出的方法

• 将检索增强生成问题形式化为 y = f(x, z)，其中 z 包含来自记忆的检索对。
• 将检索来源分为训练语料、外部数据和无监督数据。
• 回顾跨稀疏、密集和任务特定检索的检索指标。
• 综述整合策略，包括数据增强、基于注意力的融合和骨架提取。
• 讨论对话应答生成、机器翻译等任务的特定实现，以及摘要和代码生成等其他任务。

实验结果

研究问题

• RQ1 检索增强文本生成的通用范式是什么，它的核心组件有哪些？
• RQ2 检索来源、检索指标和整合方法在不同NLP任务中如何应用？
• RQ3 在对话和翻译中的当前检索增强方法的主要局限性是什么，未来方向有哪些？
• RQ4 如何将检索增强技术扩展到其他任务和多模态场景？

主要发现

• 检索增强生成明确地将检索的记忆融入生成，以补充或引导生成，提供可扩展性并获得外部知识。
• 三个主要组件是检索来源、检索指标和整合方法，针对对话、翻译和其他任务进行了任务自适应。
• 对话系统受益于示例检索和知识支撑，而翻译记忆通过多种整合策略提升统计机器翻译（SMT）和神经机器翻译（NMT）。
• SMT 和 NMT 中的翻译记忆方法揭示了依赖表层词汇相似性以及检索与生成的联合优化的挑战等局限性。
• 在多模态、检索池中的数据多样性以及学习任务特定或可控检索指标方面存在广泛机会。