[论文解读] A Scope Sensitive and Result Attentive Model for Multi-Intent Spoken Language Understanding

Lizhi Cheng, Wenmian Yang+1 more|arXiv (Cornell University)|Nov 22, 2022

Topic Modeling被引用 6

一句话总结

本文提出了一种面向多意图语音语言理解的范围敏感结果注意力网络（SSRAN），通过范围识别器聚焦于与意图相关的标记，并利用结果注意力网络实现意图检测与槽位填充之间的双向优化，从而减少错误传播。SSRAN在性能上达到当前最先进水平，在两个公开数据集上的整体准确率分别较先前方法提升5.4%和2.1%。

ABSTRACT

Multi-Intent Spoken Language Understanding (SLU), a novel and more complex scenario of SLU, is attracting increasing attention. Unlike traditional SLU, each intent in this scenario has its specific scope. Semantic information outside the scope even hinders the prediction, which tremendously increases the difficulty of intent detection. More seriously, guiding slot filling with these inaccurate intent labels suffers error propagation problems, resulting in unsatisfied overall performance. To solve these challenges, in this paper, we propose a novel Scope-Sensitive Result Attention Network (SSRAN) based on Transformer, which contains a Scope Recognizer (SR) and a Result Attention Network (RAN). Scope Recognizer assignments scope information to each token, reducing the distraction of out-of-scope tokens. Result Attention Network effectively utilizes the bidirectional interaction between results of slot filling and intent detection, mitigating the error propagation problem. Experiments on two public datasets indicate that our model significantly improves SLU performance (5.4\% and 2.1\% on Overall accuracy) over the state-of-the-art baseline.

研究动机与目标

• 为解决多意图语音语言理解中因范围外语义信息干扰而导致意图检测性能下降的挑战。
• 缓解因意图检测标签不准确而导致槽位填充阶段的错误传播问题。
• 通过意图检测与槽位填充结果之间的双向交互，提升两者联合性能。
• 通过引入辅助任务（意图数量预测与槽位片段化任务）增强模型的鲁棒性与泛化能力。

提出的方法

• 范围识别器（SR）基于初步的意图与槽位预测结果，计算一个范围加权矩阵，突出每个意图范围内的标记，同时抑制范围外的干扰信息。
• 结果注意力网络（RAN）利用自注意力机制建模意图检测与槽位填充结果之间的双向依赖关系，实现对两个任务的同步优化。
• 将RAN生成的结果-语义向量与范围敏感的隐藏状态相结合，以提升最终预测性能。
• 引入辅助任务——意图数量预测（INP）与槽位片段化任务（SCT），用于多任务学习，以提高意图与槽位预测的准确性。
• 该框架兼容预训练编码器（如RoBERTa、BERT和XLNet），可利用其进行模型初始化。
• 模型采用top-k选择策略进行意图预测，相较于固定阈值方法，提升了鲁棒性。

实验结果

研究问题

• RQ1 如何有效识别并聚焦于多意图语音语句中每个意图的范围，以减少范围外内容的干扰？
• RQ2 意图检测与槽位填充结果之间的双向交互在多意图SLU中能在多大程度上缓解错误传播？
• RQ3 诸如意图数量预测与槽位片段化等辅助任务是否能提升意图检测与槽位填充的联合性能？
• RQ4 在不同数据集上，所提出的模型在整体准确率与鲁棒性方面相较于最先进基线模型表现如何？

主要发现

• 与最先进基线GL-GIN相比，SSRAN在MixATIS数据集上实现了5.4%的绝对准确率提升，在MixSNIPS数据集上提升了2.1%。
• 采用INP结果的top-k选择策略后，意图检测准确率在MixATIS上达到78.1%，在MixSNIPS上达到98.5%，接近真实标签水平。
• 即使在使用固定阈值进行意图选择时，SSRAN仍优于GL-GIN，证明其具备更强的鲁棒性与泛化能力。
• SSRAN在不同预训练编码器上均保持优异性能，与XLNet结合时，在MixATIS和MixSNIPS上的整体准确率分别达到55.3%和85.6%。
• 可视化结果表明，范围加权矩阵能正确地将更高注意力分配给相关标记（如'airport'对应'atis_airport'），从而减少误分类。
• 案例研究显示，SSRAN能正确预测所有槽位与意图，而GL-GIN因范围错位与错误传播导致预测失败。