[论文解读] Flexible and Scalable State Tracking Framework for Goal-Oriented Dialogue Systems

Rahul Goel, Shachi Paul+4 more|arXiv (Cornell University)|Nov 30, 2018

Speech and dialogue systems参考文献 25被引用 22

一句话总结

本文提出了一种与领域无关、可扩展的对话状态追踪框架，该框架在无需预定义值集的情况下学习离散状态变量，从而能够灵活扩展至新领域和多值槽位。通过在动态生成的候选集上进行二分类，并利用预训练嵌入表示，该方法在 DSTC2 上实现了具有竞争力的性能，且无需依赖封闭词汇表假设或复杂架构。

ABSTRACT

Goal-oriented dialogue systems typically rely on components specifically developed for a single task or domain. This limits such systems in two different ways: If there is an update in the task domain, the dialogue system usually needs to be updated or completely re-trained. It is also harder to extend such dialogue systems to different and multiple domains. The dialogue state tracker in conventional dialogue systems is one such component - it is usually designed to fit a well-defined application domain. For example, it is common for a state variable to be a categorical distribution over a manually-predefined set of entities (Henderson et al., 2013), resulting in an inflexible and hard-to-extend dialogue system. In this paper, we propose a new approach for dialogue state tracking that can generalize well over multiple domains without incorporating any domain-specific knowledge. Under this framework, discrete dialogue state variables are learned independently and the information of a predefined set of possible values for dialogue state variables is not required. Furthermore, it enables adding arbitrary dialogue context as features and allows for multiple values to be associated with a single state variable. These characteristics make it much easier to expand the dialogue state space. We evaluate our framework using the widely used dialogue state tracking challenge data set (DSTC2) and show that our framework yields competitive results with other state-of-the-art results despite incorporating little domain knowledge. We also show that this framework can benefit from widely available external resources such as pre-trained word embeddings.

研究动机与目标

• 解决传统对话状态追踪器依赖固定且手动定义的槽值集合所带来的僵化问题。
• 实现对话系统在无需重训练或重新设计核心组件的情况下，轻松扩展至新领域和复杂用例。
• 支持多值槽位和任意槽值提及，包括未登录词（OOV）术语。
• 开发一种可扩展的、与领域无关的框架，无需封闭词汇表假设或显式的基于规则的更新机制。
• 在 DSTC2 基准上展示该方法的可行性与竞争力，且仅使用最少的领域特定知识。

提出的方法

• 该框架将每个对话状态变量独立处理，通过在动态生成的候选集上进行二分类来学习其值。
• 候选集来源于话语的 n-gram 和 SLU（语义语言理解）输出，避免依赖固定本体。
• 系统使用预训练词嵌入表示话语，以提升对未见槽值的泛化能力。
• 通过同时估计多个值的概率，支持多值槽位，与仅限单个值的 softmax 模型形成对比。
• 多模型集成可提升性能，尤其在方差较高的场景下表现更优。
• 该方法通过保持符号化的离散状态避免端到端学习，从而保留可解释性，并与下游 API 兼容。

实验结果

研究问题

• RQ1 能否设计一种对话状态追踪器，使其在无需预定义槽值集合的情况下实现跨领域泛化？
• RQ2 如何有效支持状态追踪框架中的多值槽位和未登录词槽值？
• RQ3 在无需封闭词汇表假设的前提下，与领域无关的框架在标准基准（如 DSTC2）上能达到多高的性能竞争力？
• RQ4 联合学习 SLU 和状态追踪是否相比仅使用 SLU 输出作为输入更具鲁棒性？
• RQ5 预训练词嵌入是否能在低资源或开放词汇设置下提升性能？

主要发现

• 所提出的框架在 DSTC2 基准上取得了具有竞争力的结果，单模型在测试集上的联合 F1 得分为 80.5%。
• 集成方法在所有设置下均提升了性能，尤其在标准差较高的实验中增益最大，表明其在不确定性下的鲁棒性。
• 该系统优于 Rastogi 等人（2018）的方法，后者在无候选集的情况下对话语进行序列标注，证明了结构化候选学习的优势。
• 联合学习 SLU 和状态追踪的效果优于仅使用 SLU 输出，表明能从噪声 SLU 预测中实现错误恢复。
• 预训练词嵌入在多种配置下均提供了稳定的性能提升，尤其在处理 OOV 术语方面表现突出。
• 该框架具备可扩展性和可扩展性，可在无需重训练或架构变更的前提下支持任意槽值和新领域。