[论文解读] Joint Slot Filling and Intent Detection via Capsule Neural Networks

Chenwei Zhang, Yaliang Li+3 more|arXiv (Cornell University)|Dec 22, 2018

Topic Modeling参考文献 24被引用 39

一句话总结

本文提出 Capsule-NLU，一种胶囊神经网络模型，通过动态路由一致机制建模词语、槽位和意图之间的层次关系，联合执行槽位填充和意图检测。该模型通过一种新颖的重路由机制，利用推断出的意图表征提升槽位填充性能，在两个真实世界数据集上的表现优于现有架构和商业 NLU 服务，达到最先进水平。

ABSTRACT

Being able to recognize words as slots and detect the intent of an utterance has been a keen issue in natural language understanding. The existing works either treat slot filling and intent detection separately in a pipeline manner, or adopt joint models which sequentially label slots while summarizing the utterance-level intent without explicitly preserving the hierarchical relationship among words, slots, and intents. To exploit the semantic hierarchy for effective modeling, we propose a capsule-based neural network model which accomplishes slot filling and intent detection via a dynamic routing-by-agreement schema. A re-routing schema is proposed to further synergize the slot filling performance using the inferred intent representation. Experiments on two real-world datasets show the effectiveness of our model when compared with other alternative model architectures, as well as existing natural language understanding services.

研究动机与目标

• 为解决现有流水线模型与联合模型未能显式建模词语、槽位与话语级意图之间层次关系的局限性。
• 通过胶囊网络捕捉层次特征层级的能力，利用动态路由一致机制，提升联合槽位填充与意图检测性能。
• 通过新颖的重路由模式，引入推断出的意图表征，以增强槽位填充性能。
• 通过用胶囊路由替代传统的 RNN/CNN 序列标注，避免顺序建模中的误差传播。

提出的方法

• 模型使用 WordCaps 表征输入词语，使用 SlotCaps 表征槽位类型，通过动态路由一致机制，根据预测一致性将每个词语分配给最合适的槽位胶囊。
• 槽位表征通过从 WordCaps 到 SlotCaps 的动态路由学习，利用类似注意力的路由权重捕捉词语到槽位的关系。
• 通过从 SlotCaps 到 IntentCaps 的动态路由预测话语级意图，将槽位表征聚合为高层级意图表征。
• 引入一种重路由模式，利用预测的意图表征重新加权词语到槽位的路由决策，以优化槽位填充。
• 通过统一损失函数联合优化槽位填充与意图检测，该损失函数结合了两项任务的交叉熵损失。
• 架构通过胶囊路由避免对上下文进行顺序压缩，从而在词语、槽位与意图层级之间保留层次结构。

实验结果

研究问题

• RQ1 胶囊网络能否在联合 NLU 任务中有效建模词语、槽位与话语级意图之间的层次关系？
• RQ2 动态路由一致机制是否优于传统 RNN 或 CNN 基于序列标注的槽位填充方法？
• RQ3 通过重路由机制，推断出的话语级意图能否提升词语级槽位填充性能？
• RQ4 与标准胶囊路由相比，所提出的重路由模式如何提升槽位填充性能？
• RQ5 Capsule-NLU 在真实世界 NLU 基准测试中是否达到最先进性能，优于现有模型与商业服务？

主要发现

• 所提出的 Capsule-NLU 模型在两个真实世界 NLU 数据集上达到最先进性能，优于基线架构与现有商业 NLU 服务。
• 重路由模式通过利用预测的意图表征重新优化词语到槽位的路由决策，显著提升了槽位填充的 F1 分数。
• 动态路由一致机制成功建模了词语、槽位与意图之间的层次关系，实现了比序列模型更优的表征学习。
• 通过共享表征联合训练槽位填充与意图检测，该模型减少了流水线方法中常见的误差传播。
• 实验表明，胶囊基方法在多样化话语中泛化能力出色，无需额外特征工程。
• 该模型通过避免对单一切向量上下文压缩，表现出对长序列的鲁棒性，与 RNN 基方法形成对比。