[论文解读] An End-to-end Approach for Handling Unknown Slot Values in Dialogue State Tracking

Puyang Xu, Qi Hu|arXiv (Cornell University)|May 3, 2018

Speech and dialogue systems参考文献 26被引用 19

一句话总结

该论文提出了一种基于指针网络（PtrNet）的端到端对话状态跟踪器，可直接从话语中提取槽值，而无需依赖预定义的候选列表，从而有效处理未知槽值。该模型在DSTC2上实现了最先进（SOTA）的联合目标准确率，同时通过一种有针对性的特征丢弃技术显著提升了对未知值的召回率。

ABSTRACT

We highlight a practical yet rarely discussed problem in dialogue state tracking (DST), namely handling unknown slot values. Previous approaches generally assume predefined candidate lists and thus are not designed to output unknown values, especially when the spoken language understanding (SLU) module is absent as in many end-to-end (E2E) systems. We describe in this paper an E2E architecture based on the pointer network (PtrNet) that can effectively extract unknown slot values while still obtains state-of-the-art accuracy on the standard DSTC2 benchmark. We also provide extensive empirical evidence to show that tracking unknown values can be challenging and our approach can bring significant improvement with the help of an effective feature dropout technique.

研究动机与目标

• 为解决在缺乏全面领域本体时，处理对话状态跟踪中未知槽值这一实际但研究不足的挑战。
• 开发一种端到端架构，绕过对独立SLU模块的需求，直接从原始话语中跟踪状态。
• 通过一种新颖的有针对性的丢弃技术，在训练过程中提升对未知槽值的泛化能力和召回率。
• 证明在数据库动态且不透明的真实应用场景中，有效处理未知值至关重要。

提出的方法

• 该模型使用指针网络（PtrNet）直接从输入话语序列中提取槽值，将状态跟踪视为序列到序列的抽取任务。
• 增加一个联合训练的分类头以补充PtrNet，提升对已知和罕见值的性能，同时保持抽取能力。
• 在编码器的隐藏状态上应用有针对性的特征丢弃技术，具体丢弃与罕见或未知值相关的特征，以提升泛化能力。
• 模型在原始文本（1-best ASR输出）上进行端到端训练，不使用置信度分数或n-best列表，适用于真实场景部署。
• 该架构在DSTC2和经过修改的bAbI数据集上进行评估，通过设置OOV（词汇外）参数来模拟未知值。

实验结果

研究问题

• RQ1 端到端对话状态跟踪器是否能在不依赖预定义候选列表或SLU模块的情况下，有效识别未知槽值？
• RQ2 当面对未知槽值时，标准DST模型的性能会如何下降，这种下降是否可以被缓解？
• RQ3 哪些训练技术（如针对性丢弃）能显著提升对未知值的召回率，同时不牺牲对已知值的准确率？
• RQ4 所提出的混合PtrNet-分类器架构在标准设置和OOV设置下，相较于现有模型，其性能优势在多大程度上得以体现？

主要发现

• 所提出的基于PtrNet的模型在标准DSTC2测试集上实现了72.1%的最先进（SOTA）联合目标准确率，优于许多依赖候选列表或SLU输出的先前模型。
• 在经过修改的DSTC2数据集（含未知食物类型）上，模型对未知值的准确率从11.6%提升至34.4%，仅通过5%的针对性丢弃，实现了三倍提升。
• 在bAbI数据集上，针对性丢弃将食物类型的OOV参数预测准确率从86.2%提升至100%，将地点类型的准确率从74.7%提升至99.6%，有效弥合了准确率差距。
• 针对性丢弃技术显著提升了对未知值的泛化能力，同时保持了对已知值的高性能，证明其在真实场景中提升鲁棒性的关键作用。
• 结合PtrNet与分类头的混合架构在已知值和未知值上均实现了更优性能，优于依赖固定候选集的模型。