[论文解读] Efficient Dialogue State Tracking by Selectively Overwriting Memory

Sungdong Kim, Sohee Yang+2 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 26被引用 20

一句话总结

该论文提出SOM-DST，一种新颖的开放词汇对话状态追踪模型，将对话状态视为可选择性覆盖的内存。通过将DST分解为状态操作预测和目标槽值生成，该方法仅在每轮中为最少数量的槽生成值，从而减少计算量，在MultiWOZ 2.1上实现了53.01%的最先进联合目标准确率，同时显著提升了推理效率。

ABSTRACT

Recent works in dialogue state tracking (DST) focus on an open vocabulary-based setting to resolve scalability and generalization issues of the predefined ontology-based approaches. However, they are inefficient in that they predict the dialogue state at every turn from scratch. Here, we consider dialogue state as an explicit fixed-sized memory and propose a selectively overwriting mechanism for more efficient DST. This mechanism consists of two steps: (1) predicting state operation on each of the memory slots, and (2) overwriting the memory with new values, of which only a few are generated according to the predicted state operations. Our method decomposes DST into two sub-tasks and guides the decoder to focus only on one of the tasks, thus reducing the burden of the decoder. This enhances the effectiveness of training and DST performance. Our SOM-DST (Selectively Overwriting Memory for Dialogue State Tracking) model achieves state-of-the-art joint goal accuracy with 51.72% in MultiWOZ 2.0 and 53.01% in MultiWOZ 2.1 in an open vocabulary-based DST setting. In addition, we analyze the accuracy gaps between the current and the ground truth-given situations and suggest that it is a promising direction to improve state operation prediction to boost the DST performance.

研究动机与目标

• 为解决现有开放词汇对话状态追踪方法在每轮均生成所有槽值所导致的效率低下问题。
• 通过实现对未见槽值的处理而不依赖预定义的本体，提升可扩展性与泛化能力。
• 通过将DST分解为两个独立子任务（操作预测与选择性值生成），减轻解码器的计算负担。
• 通过采用离散的、类似内存的机制保留先前对话状态，提升训练效率与DST性能。
• 识别并分析DST中的错误来源，特别是状态操作预测对整体性能的影响。

提出的方法

• 该模型将对话状态视为一个固定大小的内存，每轮仅选择性地覆盖。
• 引入两阶段流程：首先预测每个槽的类型操作（如更新、删除、保留、dontcare），然后仅对需要更新的槽生成值。
• 状态操作预测器利用当前和之前的对话轮次以及先前的对话状态来预测操作，同时将领域分类作为辅助任务。
• 槽值生成器仅聚焦于为标记为更新的槽生成值，从而减轻解码器的工作负载并提高专注度。
• 该框架采用基于Transformer的编码器-解码器架构，通过离散操作预测引导自回归生成。
• 模型通过交叉熵损失对操作预测和槽值生成进行端到端联合训练，实现联合优化。

实验结果

研究问题

• RQ1 将对话状态视为可选择性覆盖的内存，是否能提升开放词汇对话状态追踪的效率与准确率？
• RQ2 与全槽生成相比，将DST分解为状态操作预测与选择性值生成，如何降低计算成本？
• RQ3 状态操作预测错误对整体DST性能下降的贡献有多大？
• RQ4 由先前对话状态错误导致的误差传播，对最终DST准确率的影响程度如何？
• RQ5 提升状态操作预测是否能带来联合目标准确率的显著提升？

主要发现

• SOM-DST在开放词汇设置下，于MultiWOZ 2.1上实现了53.01%的最先进联合目标准确率，在MultiWOZ 2.0上达到51.72%。
• 该模型平均每轮仅生成1.14个槽值，最多9个，远低于TRADE和ML-BST的30个，显著提升了效率。
• SOM-DST在Tesla V100上的推理延迟为每轮27ms，比TRADE快12.5倍，同时准确率更高。
• 错误分析显示，在真实状态设定下，80.37%至90.53%的错误源于状态操作预测器，表明其为关键瓶颈。
• 该模型性能对状态操作预测质量高度敏感，当使用预测的先前状态时，错误率会增加2.47倍。
• 改进状态操作预测，特别是解决类别不平衡问题（如'删除'和'dontcare'操作的F1值偏低），被识别为实现进一步性能提升的关键路径。