[论文解读] Efficient Retrieval Augmented Generation from Unstructured Knowledge for Task-Oriented Dialog

David Thulke, Nico Daheim+2 more|arXiv (Cornell University)|Feb 9, 2021

Topic Modeling参考文献 22被引用 29

一句话总结

论文考察两种在任务导向对话中从非结构化文档中进行知识选择的高效检索策略，并将它们与检索增强生成结合，以在提升响应质量的同时降低计算时间。

ABSTRACT

This paper summarizes our work on the first track of the ninth Dialog System Technology Challenge (DSTC 9), "Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access". The goal of the task is to generate responses to user turns in a task-oriented dialog that require knowledge from unstructured documents. The task is divided into three subtasks: detection, selection and generation. In order to be compute efficient, we formulate the selection problem in terms of hierarchical classification steps. We achieve our best results with this model. Alternatively, we employ siamese sequence embedding models, referred to as Dense Knowledge Retrieval, to retrieve relevant documents. This method further reduces the computation time by a factor of more than 100x at the cost of degradation in R@1 of 5-6% compared to the first model. Then for either approach, we use Retrieval Augmented Generation to generate responses based on multiple selected snippets and we show how the method can be used to fine-tune trained embeddings.

研究动机与目标

• 使用非结构化知识来回答任务导向对话中的用户轮次，超越基于API的数据库。
• 开发高效的知识检索方法，以在实时约束内处理大量文档。
• 研究检索增强生成在对多条相关片段进行条件化时对生成的影响。
• 评估分层选择和密集知识检索作为基线单阶段检索的可扩展替代方案。

提出的方法

• 将知识选择形式化为分层分类问题，以降低与单阶段检索相比的计算量。
• 提出 Dense Knowledge Retrieval (DKR)，使用 siameseRoBERTa 编码器获得密集、基于相似度的文档排序。
• 引入 Retrieval Augmented Generation (RAG)，通过潜在变量 k 将生成条件化在多条检索片段上。
• 探索多任务与联合训练方法，以提升检测、选择和生成任务的表现。
• 比较解码策略（束搜索、核心采样）与上下文长度对生成质量的影响。
• 使用基于 MultiWOZ 的 DSTC9 Track 1 数据进行评估，包括领域/实体特定片段和一个单独的 Attraction 领域。

实验结果

研究问题

• RQ1 如何在不牺牲准确性的前提下，使大型非结构化知识库中的知识选择对任务导向对话具有高效性？
• RQ2 分层选择与密集嵌入检索在速度与检索质量之间的权衡是什么？
• RQ3 在存在多条片段时，检索增强生成是否能提升响应性和事实正确性？
• RQ4 联合或多任务学习是否能在检测、选择和生成子任务上提升性能？
• RQ5 解码策略与对话上下文长度在知识检索范式下如何影响生成质量？

主要发现

• 分层选择在检索准确性方面表现出色，相对于基线选择实现了 20x 的加速， enabling 实时更快的响应。
• Dense Knowledge Retrieval (DKR) 相对于分层选择提供>100x 的加速（相对于基线则超过>2,500x），在验证指标上具有竞争力，但对新领域的泛化能力较弱。
• Retrieval Augmented Generation (RAG) 允许将生成条件化在多条片段上，在某些示例中实现了事实纠正和更有信息量的回答。
• 与 RAG 的联合训练在某些指标上有所提升，但在不同数据集和任务上的收益混合；多任务训练总体收益有限。
• 更长的对话上下文（最长可达 384 token）相较短上下文在 R@1 上有显著提升，凸显上下文对知识检索的重要性。