[论文解读] Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems

Layla El Asri, Hannes Schulz+6 more|arXiv (Cornell University)|Mar 31, 2017

Speech and dialogue systems被引用 21

一句话总结

本文介绍了 Frames，一个包含1,369段人类之间对话的语料库，这些对话是在Wizard-of-Oz设置下收集的，旨在研究目标导向对话系统中的记忆机制。该研究形式化了框架追踪（frame tracking）这一任务，即通过同时管理多个语义框架来扩展传统的状态追踪，并提出了一种基于规则的基线模型，结果显示简单规则仅略好于随机基线，凸显了对更复杂记忆感知模型的迫切需求。

ABSTRACT

This paper presents the Frames dataset (Frames is available at http://datasets.maluuba.com/Frames), a corpus of 1369 human-human dialogues with an average of 15 turns per dialogue. We developed this dataset to study the role of memory in goal-oriented dialogue systems. Based on Frames, we introduce a task called frame tracking, which extends state tracking to a setting where several states are tracked simultaneously. We propose a baseline model for this task. We show that Frames can also be used to study memory in dialogue management and information presentation through natural language generation.

研究动机与目标

• 开发一个能够捕捉复杂用户行为（如在决策过程中比较多个项目）的记忆需求的对话语料库。
• 将框架追踪形式化为一项新任务，通过同时管理多个语义框架来扩展传统状态追踪。
• 研究记忆如何通过自然语言生成支持对话管理与信息呈现。
• 为评估在目标导向对话中追踪多个上下文状态的模型提供基准。
• 推动可扩展的数据收集与标注方法研究，以支持记忆密集型对话系统。

提出的方法

• 在Wizard-of-Oz设置下收集了1,369段人类之间的对话，用户与人类‘巫师’互动，后者模拟对话系统。
• 构建了一个包含目的地、价格、酒店和设施等属性的度假套餐数据库，以支撑对话的语境。
• 对对话进行标注，包括对话行为、槽位值以及引用标签（ref），以识别用户所指的框架。
• 将框架追踪形式化为一项任务，即在整个对话过程中持续维护和更新多个语义框架。
• 提出一种基于规则的框架追踪器，利用手工设计的规则，根据对话行为和槽位值预测框架的创建、切换和引用消解。
• 开发了一种结合双向GRU和CRF层的神经基线模型，用于联合意图与槽位标注，并采用改进的交叉熵损失以缓解类别不平衡问题。

实验结果

研究问题

• RQ1 对话系统如何在对话过程中有效追踪并管理多个上下文状态（框架）？
• RQ2 在讨论不同项目属性时，识别用户所指框架的关键挑战是什么？
• RQ3 如何利用记忆来支持复杂对话流程，如项目比较与回溯？
• RQ4 基于规则的系统在真实、记忆密集型对话场景中处理框架追踪的能力如何？
• RQ5 自然语言生成在何种程度上可用于在无匹配结果时主动引导用户？

主要发现

• 基于规则的框架追踪器在框架创建任务上的F1得分为0.49 ± 0.03，仅略高于随机基线（0.47 ± 0.02）。
• 框架识别性能较差，基于规则的模型得分为0.24 ± 0.02，而随机基线仅为0.18 ± 0.02。
• NLU基线模型在对话行为识别上达到0.78 ± 0.05的F1得分，在槽位标注上达到0.79 ± 0.04，表明意图与槽位检测性能合理。
• 改进的分类交叉熵损失有效防止了模型仅预测O（非相关）标签，提升了训练稳定性。
• 结果表明，当前基于规则的方法在框架追踪任务中仍显不足，凸显了未来模型开发的巨大差距。
• Frames数据集为记忆增强型对话系统的研究提供了支持，尤其适用于涉及比较、回溯和主动建议等任务。