[论文解读] A Unified Implicit Dialog Framework for Conversational Search

Song Feng, Chulaka Gunasekara+3 more|arXiv (Cornell University)|Feb 12, 2018

Speech and dialogue systems参考文献 2被引用 3

一句话总结

本文提出了一种统一的、端到端可训练的对话搜索框架，利用集中式知识表征隐式推导对话组件（如意图识别、状态追踪和查询生成），从而在无需手工编码规则的情况下实现跨领域的快速适应。该框架在意图分类任务上达到89%的准确率，并支持即插即用的语义匹配与反馈驱动的持续改进。

ABSTRACT

We propose a unified Implicit Dialog framework for goal-oriented, information seeking tasks of Conversational Search applications. It aims to enable dialog interactions with domain data without replying on explicitly encoded the rules but utilizing the underlying data representation to build the components required for dialog interaction, which we refer as Implicit Dialog in this work. The proposed framework consists of a pipeline of End-to-End trainable modules. A centralized knowledge representation is used to semantically ground multiple dialog modules. An associated set of tools are integrated with the framework to gather end users' input for continuous improvement of the system. The goal is to facilitate development of conversational systems by identifying the components and the data that can be adapted and reused across many end-user applications. We demonstrate our approach by creating conversational agents for several independent domains.

研究动机与目标

• 解决因手工规则与领域特定逻辑导致的面向目标对话搜索系统开发成本高、复用性低的问题。
• 通过解耦对话逻辑与显式规则编码，实现对话智能体在多样化领域间的无缝迁移。
• 通过集成来自终端用户、领域专家与标注人员的反馈收集，实现系统的持续改进。
• 构建模块化、即插即用的架构，利用共享的、领域无关的知识表征，在应用间复用核心组件。
• 在公寓租赁与餐厅搜索等真实领域中，通过极少的重新配置，验证该框架的有效性。

提出的方法

• 从领域知识库构建集中式知识表征（CKR），以领域无关的方式捕获实体、语义关系、数据类型与操作。
• 利用CKR对所有对话模块（包括意图标注、状态追踪与查询生成）进行语义定位与初始化。
• 实现三步语义匹配流水线：字面匹配、模糊匹配，以及使用词嵌入的向量表示匹配。
• 在去标识化话语上训练自然语言意图分类器，在包含200多个话语的测试集上达到89%的准确率。
• 在Wizard-of-Oz设置下使用对话模拟器生成合成对话数据，并从人工代理处收集实时反馈。
• 将反馈整合到学习模块中，实现在无需从头开始训练的情况下，对对话组件进行持续改进。

实验结果

研究问题

• RQ1 能否构建一个统一的、领域无关的框架，以支持对话搜索，而无需依赖显式编码的对话规则？
• RQ2 集中式知识表征在多大程度上能够实现对话组件（如意图检测与状态追踪）的自动推导？
• RQ3 该框架在多大程度上可跨不同领域复用，且仅需极少的重新配置？
• RQ4 来自人工代理的实时反馈能否在持续学习循环中有效提升对话系统性能？
• RQ5 与传统的基于规则或端到端方法相比，该隐式对话框架在准确率与适应性方面的表现如何？

主要发现

• 该框架在超过200个话语的测试集上实现了89%的意图分类准确率，证明其在无需显式规则工程的情况下具备强大的意图检测能力。
• 集中式知识表征的使用使得对话组件能够无缝适应不同领域（如公寓租赁与餐厅搜索），仅需重新配置数据库与CKR即可实现。
• 对话模拟器成功捕获了实时的人工介入反馈，其信息量高于离线标注，且可直接用于模型优化。
• 模块化、即插即用的设计支持可互换的语义匹配方法，提升了对话系统开发的灵活性与可扩展性。
• 通过复用基于CKR的组件，该框架减少了对昂贵的手动对话逻辑设计与标注训练数据的依赖。
• 在CKR重新生成后，系统在新领域中表现出可比的性能，表明其在应用间具备强大的泛化能力与复用性。