[论文解读] Multi-domain Dialog State Tracking using Recurrent Neural Networks

Nikola Mrkšić, Diarmuid Ó Séaghdha+6 more|arXiv (Cornell University)|Jun 23, 2015

Speech and dialogue systems被引用 1

一句话总结

本文提出一种基于循环神经网络（RNN）的分层训练方法，构建一个多领域对话状态追踪器，实现跨不相交领域的泛化。通过在多样化域外数据上进行预训练，该模型即使在域内数据极少的情况下，也能在新领域中实现优异性能，展现出强大的迁移学习能力，并持续优于领域特定的基线模型。

ABSTRACT

Dialog state tracking is a key component of many modern dialog systems, most of which are designed with a single, well-defined domain in mind. This paper shows that dialog data drawn from different dialog domains can be used to train a general belief tracking model which can operate across all of these domains, exhibiting superior performance to each of the domain-specific models. We propose a training procedure which uses out-of-domain data to initialise belief tracking models for entirely new domains. This procedure leads to improvements in belief tracking performance regardless of the amount of in-domain data available for training the model.

研究动机与目标

• 解决构建能够跨多个不相交领域运行的开放域对话系统所面临的挑战。
• 克服领域特定信念追踪器对大量域内训练数据的依赖及其泛化能力不足的局限。
• 开发一种利用域外对话数据初始化并改进新领域信念追踪模型的训练方法。
• 证明从多样化领域迁移学习可显著提升性能，即使在域内数据稀缺的情况下亦是如此。

提出的方法

• 在多个对话领域（如餐厅、酒店、笔记本电脑、旅游信息）的组合数据上训练一个通用的基于RNN的信念追踪器，以学习跨领域的对话模式。
• 使用去域化n-gram特征表示话语，将槽位名称和值替换为通用占位符（例如，[want tagged-slot-value]），以实现对未见槽位和值的迁移。
• 采用分层训练流程：首先在所有可用的域外数据上预训练一个共享模型，然后使用域内数据对每个领域进行微调。
• 利用共享模型学习到的表征作为新领域特定追踪器的初始化，提升收敛速度与性能。
• 以联合目标准确率为六种不同领域（包括餐厅、酒店和笔记本电脑）的主要评估指标。
• 使用集成模型（每个领域12个模型）以确保性能估计的稳健性，并降低结果方差。

实验结果

研究问题

• RQ1 能否有效训练一个单一的基于RNN的信念追踪器，使其在多个不相交的对话领域间实现泛化？
• RQ2 在多样化域外对话数据上进行预训练是否能提升在低资源域内设置下的信念追踪器性能？
• RQ3 当可用的域内数据量不同时，使用域外数据初始化的模型与领域特定模型的性能相比如何？
• RQ4 从异构领域学习到的去域化特征在多大程度上可迁移至新的、未见过的领域？

主要发现

• 在所有域外数据（R+T+H+L）上预训练的共享模型在密歇根大学餐厅领域实现了76.8%的联合目标准确率，即使在使用完整域内数据的情况下，也优于领域特定模型（75.0%）。
• 在笔记本电脑领域，域外初始化的模型达到了78.9%的联合目标准确率，显著优于领域特定基线模型的74.7%。
• 即使在拥有800个域内对话的情况下，域外初始化的模型在所有测试领域中均持续优于仅使用域内数据训练的模型。
• 当域内数据有限时，域外预训练带来的性能增益最为显著，证明了其强大的数据效率。
• 去域化特征的使用实现了有效的领域间迁移，尤其在笔记本电脑领域表现突出，因为该领域的域外数据中不包含类似的槽位-值模式。
• 无论域内数据量大小，分层训练流程均能提升性能，证实了该迁移学习方法的稳健性。