[论文解读] Joint Multiple Intent Detection and Slot Filling via Self-distillation

Lisong Chen, Peilin Zhou+1 more|arXiv (Cornell University)|Aug 18, 2021

Topic Modeling被引用 5

一句话总结

该论文提出SDJN，一种自蒸馏联合NLU模型，通过多实例学习（MIL）将多意图检测建模为弱监督问题，并采用包含三个解码器的辅助循环——初始槽解码器、MIL意图解码器和最终槽解码器——以实现在意图与槽预测之间的双向知识迁移。该方法在两个公开的多意图数据集上实现了最先进性能，在MixATIS上整体准确率相比强基线提升3.8%，在MixSNIPS上提升1.5%。

ABSTRACT

Intent detection and slot filling are two main tasks in natural language understanding (NLU) for identifying users' needs from their utterances. These two tasks are highly related and often trained jointly. However, most previous works assume that each utterance only corresponds to one intent, ignoring the fact that a user utterance in many cases could include multiple intents. In this paper, we propose a novel Self-Distillation Joint NLU model (SDJN) for multi-intent NLU. First, we formulate multiple intent detection as a weakly supervised problem and approach with multiple instance learning (MIL). Then, we design an auxiliary loop via self-distillation with three orderly arranged decoders: Initial Slot Decoder, MIL Intent Decoder, and Final Slot Decoder. The output of each decoder will serve as auxiliary information for the next decoder. With the auxiliary knowledge provided by the MIL Intent Decoder, we set Final Slot Decoder as the teacher model that imparts knowledge back to Initial Slot Decoder to complete the loop. The auxiliary loop enables intents and slots to guide mutually in-depth and further boost the overall NLU performance. Experimental results on two public multi-intent datasets indicate that our model achieves strong performance compared to others.

研究动机与目标

• 为解决对话系统中联合多意图检测与槽填充的挑战，现有模型通常假设每句只有一个意图。
• 通过弱监督多实例学习（MIL）利用细粒度的token级意图信息，提升性能。
• 通过包含三个有序解码器的自蒸馏辅助循环，实现在意图与槽预测之间的双向知识迁移。
• 通过引入中间层监督（提示）而非仅依赖软目标，增强表征学习。
• 通过利用意图与槽之间的关联依赖关系，在真实世界多意图数据集上实现优越的联合NLU性能。

提出的方法

• 将多意图检测建模为弱监督MIL问题，将token视为实例，将话语视为一个包，以预测实例级意图分布。
• 引入一个三解码器辅助循环：初始槽解码器、MIL意图解码器和最终槽解码器，其中每个解码器的输出作为下一解码器的辅助知识。
• 使用最终槽解码器作为教师模型，通过软目标或中间提示将知识蒸馏回初始槽解码器。
• 采用基于注意力的聚合函数，将token级意图预测整合为整体话语级意图标签，在多意图场景下表现有效。
• 采用温度缩放的自蒸馏与基于提示的知识迁移，以改善中间表征学习与模型泛化能力。
• 通过结合槽填充、意图检测与蒸馏目标的多任务损失进行模型优化，超参数按数据集分别调优。

实验结果

研究问题

• RQ1 能否通过基于token级预测推断话语级标签，将多意图检测有效建模为弱监督MIL问题？
• RQ2 具有三个解码器的辅助循环如何提升多意图NLU中的联合意图与槽预测性能？
• RQ3 不同蒸馏知识来源（软目标 vs. 中间提示）对表征学习与性能的影响如何？
• RQ4 与单向或无交互相比，意图与槽预测之间的双向知识迁移是否能带来更好的整体NLU性能？
• RQ5 所提出的自蒸馏框架是否能在公开基准上超越现有多意图NLU模型？

主要发现

• SDJN在MixATIS与MixSNIPS上均优于所有基线模型，在MixATIS上整体准确率提升3.8%，在MixSNIPS上提升1.5%。
• 与最佳基线（AGIF）相比，SDJN在MixATIS上槽填充F1提升1.5%，在MixSNIPS上提升0.2%，表明细粒度意图监督具有显著优势。
• MIL意图解码器显著提升意图检测性能，当在初始槽解码器后加入该模块时，整体准确率提升5.3%。
• 使用提示作为蒸馏知识来源时，相比温度为2和4的软目标，整体准确率分别提升1.1%和1.5%。
• 消融实验表明，每个解码器均对性能提升有贡献，且完整模型结合蒸馏实现了意图与槽预测的最佳平衡。
• 与仅依赖最终层软目标相比，采用中间层监督（提示）的自蒸馏机制能带来更鲁棒的表征学习。