[论文解读] Deep Cascade Multi-task Learning for Slot Filling in Chinese E-commerce Shopping Guide Assistant.

Yu Gong, Xusheng Luo+3 more|arXiv (Cornell University)|Mar 30, 2018

Topic Modeling参考文献 16被引用 1

一句话总结

本文提出一种带有残差连接的深度级联多任务学习模型，以提升中文电商对话系统中的槽位填充性能。通过利用层次化任务学习和残差学习，该模型在中文电商数据集上相较强基线模型实现了14.6%的绝对F1分数提升，在标准基准和领域特定基准上均优于当前最先进方法。

ABSTRACT

Slot filling is a critical task in natural language understanding (NLU) for dialog systems. State-of-the-art solutions regard it as a sequence label- ing task and adopt BiLSTM-CRF models. While BiLSTM-CRF models works relatively well on standard datasets it faces challenges in Chinese E-commerce slot filling due to more informative slot labels and richer expressions. In this paper, we propose a deep multi-task learning model with cascade and residual connections. Experimental results show that our framework not only achieves competitive performance with state-of-the-arts on a standard dataset, but also significantly outperforms strong baselines by a substantial gain of 14.6% on a Chinese E-commerce dataset.

研究动机与目标

• 解决中文电商对话系统中槽位填充的挑战，其中复杂的槽位标签和丰富的语言表达方式会阻碍性能表现。
• 克服标准BiLSTM-CRF模型在处理电商场景中常见的领域特定、信息丰富的槽位标签时的局限性。
• 设计一种多任务学习框架，以捕捉相关槽位预测任务之间的层次依赖关系。
• 通过在深层神经网络架构中引入残差连接和级联连接，提升泛化能力和表征学习能力。
• 在标准和中文电商专用的槽位填充基准上均实现最先进性能。

提出的方法

• 提出一种深度级联多任务学习架构，将多个槽位预测头以级联方式堆叠，以建模槽位之间的层次依赖关系。
• 在各层之间集成残差连接，以稳定训练过程并改善深层网络中的梯度流动。
• 使用多任务损失函数进行端到端训练，联合优化多种槽位类型。
• 在输入级联多任务头之前，使用双向LSTM编码器捕获上下文表征。
• 在每个任务头之上应用CRF层，以确保标签序列的一致性。
• 通过在任务间共享特征表示，提升泛化能力，尤其对罕见或复杂槽位具有显著优势。

实验结果

研究问题

• RQ1 与标准BiLSTM-CRF模型相比，深度级联多任务学习框架是否能提升中文电商对话系统中的槽位填充性能？
• RQ2 残差连接在深层多任务槽位填充架构中对训练稳定性和性能提升有何贡献？
• RQ3 通过级联方式实现的层次化任务学习，在建模电商场景中复杂且信息丰富的槽位标签方面，其效果如何？
• RQ4 所提出的模型在标准和领域特定槽位填充基准上是否具备良好的泛化能力？
• RQ5 在真实世界中文电商数据集上，该方法相较强基线模型的定量性能增益是多少？

主要发现

• 所提模型在标准基准数据集上表现优异，性能达到或超过当前最先进水平。
• 在中文电商专用数据集上，该模型相较强基线模型实现了14.6%的绝对F1分数提升。
• 残差连接的引入显著提升了深层架构中的训练稳定性和模型收敛性。
• 级联多任务结构能够更好地建模复杂槽位关系，尤其对罕见或嵌套槽位类型表现更优。
• 模型在多种槽位类型上展现出强大的泛化能力，包括具有丰富语言表达和高歧义性的槽位。
• 结果证实，结合级联与残差结构的深度多任务学习方法，在低资源、高复杂度场景下对领域特定槽位填充具有高度有效性。