[论文解读] Hybrid Dialog State Tracker

Miroslav Vodolán, Rudolf Kadlec+1 more|arXiv (Cornell University)|Oct 13, 2015

Speech and dialogue systems参考文献 19被引用 9

一句话总结

该论文提出了一种混合对话状态追踪器，将基于规则的信念追踪机制与轻量级长短期记忆（LSTM）网络相结合，以预测关键规则参数。通过利用LSTM生成的参数来控制信念更新规则，该系统在仅使用实时SLU输入的情况下，在DSTC2数据集上实现了74.5%的最新联合槽位准确率，优于同一类别中的先前方法。

ABSTRACT

This paper presents a hybrid dialog state tracker that combines a rule based and a machine learning based approach to belief state tracking. Therefore, we call it a hybrid tracker. The machine learning in our tracker is realized by a Long Short Term Memory (LSTM) network. To our knowledge, our hybrid tracker sets a new state-of-the-art result for the Dialog State Tracking Challenge (DSTC) 2 dataset when the system uses only live SLU as its input.

研究动机与目标

• 将基于机器学习的追踪器的高准确率与基于规则系统的可解释性相结合，用于对话状态追踪。
• 在仅依赖实时SLU输出、不使用ASR输入的前提下，提升DSTC2基准上的联合槽位准确率。
• 设计一个轻量级神经组件，以动态控制规则参数，实现信念状态的更新。
• 通过将学习到的参数嵌入基于规则的更新框架中，保持模型的可解释性。

提出的方法

• 该追踪器使用循环LSTM网络生成两个控制参数 c_new 和 c_override，用于控制每个槽位的信念更新规则。
• 一个基于规则的函数 R 根据先前信念、新用户输入以及LSTM生成的参数，更新每个槽位的信念分布。
• LSTM处理当前槽位的特征（f_s）、机器动作（f_m）以及预处理后的用户动作（i^s），以生成隐藏状态。
• LSTM的输出经过线性变换，生成 c_new 和 c_override，用于控制引入新值或覆盖现有信念的概率。
• 系统采用100个随机初始化的追踪器的集成，模型选择基于验证集上的表现。
• f_m 的特征基于出现频率（出现次数 >5）进行选择，最终得到421个独特的机器动作特征和3个与槽位相关的特征。

实验结果

研究问题

• RQ1 结合基于规则的逻辑与神经参数化的混合架构，是否能在保持可解释性的同时提升对话状态追踪的准确率？
• RQ2 当仅提供SLU输入时，轻量级LSTM组件对基于规则的信念追踪器性能有何影响？
• RQ3 将学习到的参数（c_new, c_override）整合到基于规则的信念更新中，是否能实现比纯神经方法或纯规则方法更好的泛化能力？
• RQ4 一个极简的神经组件（5个LSTM单元，约10,000个参数）是否能显著提升追踪性能，相较于强大的基于规则的基线模型？

主要发现

• 该混合追踪器在DSTC2测试集上实现了74.5%的联合槽位准确率，成为仅使用实时SLU输入的系统中的新最先进水平。
• 该模型在验证集（dstc2_dev）上的表现为65.7%，在训练集（dstc2_train）上达到76.7%。
• 该系统在相同仅SLU输入类别中优于先前最佳追踪器[20]，证明了混合设计的有效性。
• 100个追踪器的集成在10次评估中标准差仅为0.0006，表明训练具有高度稳定性。
• 该模型不追踪'名称'槽位，始终将其设为'None'，因为发现这会降低性能。
• 预计加入ASR特征将进一步提升性能，相关工作计划在后续研究中开展。