[论文解读] Beyond Domain APIs: Task-oriented conversational modeling with unstructured knowledge access

Seokhwan Kim, Mihail Eric+4 more|arXiv (Cornell University)|Jun 1, 2020

Speech and dialogue systems被引用 8

一句话总结

本文通过整合非结构化的外部知识源，提出增强面向任务的对话系统，以处理超出API覆盖范围的用户请求。该工作引入了三个子任务——知识寻求话轮检测、知识选择和知识增强型响应生成——并构建了一个增强版的MultiWOZ 2.1数据集，展示了在非结构化知识访问方面进一步研究的必要性，以实现更丰富的对话。

ABSTRACT

Most prior work on task-oriented dialogue systems are restricted to a limited coverage of domain APIs, while users oftentimes have domain related requests that are not covered by the APIs. In this paper, we propose to expand coverage of task-oriented dialogue systems by incorporating external unstructured knowledge sources. We define three sub-tasks: knowledge-seeking turn detection, knowledge selection, and knowledge-grounded response generation, which can be modeled individually or jointly. We introduce an augmented version of MultiWOZ 2.1, which includes new out-of-API-coverage turns and responses grounded on external knowledge sources. We present baselines for each sub-task using both conventional and neural approaches. Our experimental results demonstrate the need for further research in this direction to enable more informative conversational systems.

研究动机与目标

• 解决现有面向任务对话系统仅依赖覆盖范围有限的预定义领域API所带来的局限性。
• 通过利用外部非结构化知识源，使对话系统能够处理现有API未覆盖的用户请求。
• 定义并形式化三个关键子任务：检测知识寻求话轮、选择相关知识，以及生成基于外部知识的响应。
• 提供一个新增的、增强版的MultiWOZ 2.1数据集，包含超出API覆盖范围的对话和基于知识的响应，以支持该方向的研究。
• 建立基于传统方法与神经网络方法的基线模型，用于评估在所提出子任务上的性能表现。

提出的方法

• 通过添加超出API覆盖范围且基于外部非结构化知识源的对话轮次，对MultiWOZ 2.1数据集进行增强。
• 定义三个独立的子任务：(1) 知识寻求话轮检测，用于识别用户需要外部知识的时刻；(2) 知识选择，从大规模语料库中检索相关知识；(3) 知识增强型响应生成，生成在上下文和事实层面均恰当的响应。
• 针对每个子任务，采用传统自然语言处理技术与神经网络架构开发基线模型。
• 独立或联合训练与评估三个子任务的模型，以评估性能及任务间的依赖关系。
• 利用外部知识源（如维基百科或领域特定文档）来扩展响应的覆盖范围，使其超越现有API的能力边界。
• 对响应生成使用序列到序列模型，对话轮检测使用分类模型，知识选择则采用注意力机制。

实验结果

研究问题

• RQ1 如何扩展面向任务的对话系统，以处理超出现有领域API覆盖范围的用户请求？
• RQ2 有效整合非结构化知识到面向任务对话中所需的关键子任务有哪些？
• RQ3 引入外部知识如何影响对话响应的质量与信息量？
• RQ4 联合建模知识寻求检测、知识选择与响应生成能带来多大的性能提升？
• RQ5 现有神经网络与传统基线模型在新的超出API覆盖范围的设定下，其泛化能力如何？

主要发现

• 所提出的增强版MultiWOZ 2.1数据集成功捕捉了基于外部知识的超出API覆盖范围的用户请求，为新研究方向提供了支持。
• 知识寻求话轮检测、知识选择与响应生成的基线模型表现出可测量的性能，表明所提框架的可行性。
• 对三个子任务进行联合建模相比独立建模性能更优，表明任务之间存在显著依赖关系。
• 神经网络基线在知识选择与响应生成任务上优于传统方法，凸显深度学习在此场景中的潜力。
• 结果证实，当前系统在处理非结构化知识方面仍显不足，凸显该领域亟需进一步研究。
• 引入外部知识显著提升了响应的信息量，尤其在处理复杂或罕见查询（超出API覆盖范围）时效果更为明显。