[论文解读] Link the World: Improving Open-domain Conversation with Dynamic Spatiotemporal-aware Knowledge

Han Zhou, Xinchao Xu+6 more|arXiv (Cornell University)|Jun 28, 2022

Topic Modeling被引用 5

一句话总结

本文提出了一种动态、时空感知的对话系统，通过主动查询服务API获取实时世界知识，从而增强开放域对话。基于包含10,000多个真人-真人对话且含服务请求的DuSinc数据集，该方法在一致性、事实性和互动性方面均取得提升，在无世界链接基线模型的基础上实现了60.87%的会话级性能提升。

ABSTRACT

Making chatbots world aware in a conversation like a human is a crucial challenge, where the world may contain dynamic knowledge and spatiotemporal state. Several recent advances have tried to link the dialog system to a static knowledge base or search engine, but they do not contain all the world information needed for conversations. In contrast, we propose a new method to improve the dialogue system using spatiotemporal aware dynamic knowledge. We utilize service information as a way for the dialogue system to link the world. The system actively builds a request according to the dialog context and spatiotemporal state to get service information and then generates world aware responses. To implement this method, we collect DuSinc, an open-domain human-human dialogue dataset, where a participant can access the service to get the information needed for dialogue responses. Through automatic and human evaluations, we found that service information significantly improves the consistency, informativeness, factuality, and engagingness of the dialogue system, making it behave more like a human. Compared to the pre-trained models without spatiotemporal aware dynamic knowledge, the overall session-level score was improved by 60.87\%. The collection dataset and methods will be open-sourced.

研究动机与目标

• 为解决预训练语言模型中静态知识的局限性，这些模型无法访问实时或位置感知的世界信息。
• 使对话系统能够像人类一样感知并响应动态的、时空上下文相关的世界状态。
• 开发一种可泛化的通用方法，利用服务API检索及时、简洁且相关的信息，用于对话生成。
• 创建并发布DuSinc，首个增强服务信息请求与响应的开放域中文对话数据集。
• 为开放域对话中使用动态服务知识进行查询生成与响应生成建立基准。

提出的方法

• 系统根据对话上下文及当前时间/位置，动态判断是否需要外部服务信息。
• 构建自然语言查询，以访问工业级服务API（如天气、地图、股票、计算器）以获取实时数据。
• 模型利用检索到的服务信息生成更具信息量、一致性更高且事实依据更充分的回复。
• 通过两名标注员分别扮演USER和BOT的方式收集了新的数据集DuSinc，其中BOT需判断何时请求服务数据。
• 该基准包含两个任务：(1) 生成查询以检索服务信息，(2) 利用检索到的知识生成回复。
• 该方法在多个预训练模型上进行了评估，展示了在不同模型规模和训练方法下的泛化能力。

实验结果

研究问题

• RQ1 动态、时空感知的服务信息是否能显著提升开放域对话系统的连贯性与事实准确性？
• RQ2 与静态知识库或网页检索相比，主动服务查询在对话质量方面表现如何？
• RQ3 当使用实时服务知识时，对话系统在未见主题上的泛化能力有多强？
• RQ4 在集成动态服务信息时，模型规模和训练策略对性能有何影响？
• RQ5 包含服务请求的人-人对话数据集能否作为训练和评估世界感知对话系统的一个强基准？

主要发现

• 与无动态世界链接的基线模型相比，所提方法在整体会话级得分上提升了60.87%。
• 人工评估显示，回复在连贯性、信息量、事实性和互动性方面均有显著提升。
• 系统展现出强大的泛化能力，由于服务知识的动态特性，即使在未见主题上也表现良好。
• 与噪声大、非结构化的网页检索相比，使用简洁、结构化的服务响应在自动评估和人工评估中均表现更优。
• DuSinc数据集包含超过2,500个主题、近10,000段对话以及50,000次服务请求，是首个增强服务交互的开放域中文对话数据集。
• 基准模型在使用动态服务知识的查询生成与响应生成任务中均达到了最先进性能。