[论文解读] A Sequence-to-Sequence Model for User Simulation in Spoken Dialogue Systems

Layla El Asri, Jing He+1 more|arXiv (Cornell University)|Jun 30, 2016

Speech and dialogue systems被引用 5

一句话总结

本文提出一种用于对话系统中用户模拟的序列到序列（Seq2Seq）模型，利用神经网络生成自然且上下文感知的用户回复。该模型在DSTC2验证集上的平均F值为0.34，在测试集上为0.27，优于基线方法（如二元语法和议程模型）。

ABSTRACT

User simulation is essential for generating enough data to train a statistical spoken dialogue system. Previous models for user simulation suffer from several drawbacks, such as the inability to take dialogue history into account, the need of rigid structure to ensure coherent user behaviour, heavy dependence on a specific domain, the inability to output several user intentions during one dialogue turn, or the requirement of a summarized action space for tractability. This paper introduces a data-driven user simulator based on an encoder-decoder recurrent neural network. The model takes as input a sequence of dialogue contexts and outputs a sequence of dialogue acts corresponding to user intentions. The dialogue contexts include information about the machine acts and the status of the user goal. We show on the Dialogue State Tracking Challenge 2 (DSTC2) dataset that the sequence-to-sequence model outperforms an agenda-based simulator and an n-gram simulator, according to F-score. Furthermore, we show how this model can be used on the original action space and thereby models user behaviour with finer granularity.

研究动机与目标

• 通过用神经序列到序列方法替代传统的基于规则或n-gram的模型，提升对话系统中用户模拟的性能。
• 通过端到端建模对话历史和系统动作，生成更自然且上下文连贯的用户回复。
• 在标准基准测试上，将该模型与基线方法（如二元语法和议程模型）进行性能对比。
• 探究神经序列建模在捕捉任务导向对话中复杂用户行为模式方面的有效性。

提出的方法

• 该模型采用编码器-解码器架构并结合注意力机制，将系统话语和对话历史映射为用户回复。
• 编码器将对话历史和系统动作序列作为输入标记，生成上下文向量。
• 解码器基于上下文向量和先前生成的标记，自回归地生成用户回复标记。
• 通过交叉熵损失进行端到端训练，以最大化真实用户回复的似然概率。
• 推理阶段采用束搜索解码策略，以提升回复质量。
• 在DSTC2和DSTC3基准数据集上进行评估，基于50次随机运行的平均F值进行衡量。

实验结果

研究问题

• RQ1 序列到序列模型能否有效模拟任务导向对话系统中的用户行为？
• RQ2 与传统的基线方法（如二元语法和议程模型）相比，Seq2Seq模型的性能如何？
• RQ3 该神经方法在未见对话领域和测试集上是否具备良好的泛化能力？
• RQ4 注意力机制在多大程度上提升了用户模拟中的回复连贯性和上下文对齐能力？

主要发现

• 该序列到序列模型在DSTC2验证集上实现了0.34的平均F值，优于二元语法模型（0.20）和议程模型（0.24）。
• 在DSTC2测试集上，Seq2Seq模型的F值达到0.27，超过二元语法模型（0.09）和议程模型（0.18）基线。
• 在DSTC3测试集上，模型实现了0.18的F值，优于议程模型（0.13），但性能低于在DSTC2上的表现。
• 该模型在多次运行中均持续优于基线模型，表明其具备鲁棒性和泛化能力。
• 结果表明，神经序列建模在用户模拟中是有效的，尤其在捕捉长距离依赖关系和上下文转换方面表现突出。
• 验证集与测试集之间的性能差距表明可能存在过拟合或领域偏移问题，尤其在DSTC3上更为明显。