[论文解读] CM-Net: A Novel Collaborative Memory Network for Spoken Language Understanding

Yijin Liu, Fandong Meng+4 more|arXiv (Cornell University)|Sep 16, 2019

Topic Modeling参考文献 41被引用 5

一句话总结

该论文提出CM-Net，一种用于语音语言理解的新型协同记忆网络，通过堆叠的CM-block在任务特定记忆、局部上下文表示和全局序列特征之间交替交换信息，联合建模意图检测与槽位填充。该模型在ATIS和SNIPS基准上达到最先进性能，并在新发布的CAIS语料库上显著优于基线模型，该语料库已公开供研究使用。

ABSTRACT

Spoken Language Understanding (SLU) mainly involves two tasks, intent detection and slot filling, which are generally modeled jointly in existing works. However, most existing models fail to fully utilize co-occurrence relations between slots and intents, which restricts their potential performance. To address this issue, in this paper we propose a novel Collaborative Memory Network (CM-Net) based on the well-designed block, named CM-block. The CM-block firstly captures slot-specific and intent-specific features from memories in a collaborative manner, and then uses these enriched features to enhance local context representations, based on which the sequential information flow leads to more specific (slot and intent) global utterance representations. Through stacking multiple CM-blocks, our CM-Net is able to alternately perform information exchange among specific memories, local contexts and the global utterance, and thus incrementally enriches each other. We evaluate the CM-Net on two standard benchmarks (ATIS and SNIPS) and a self-collected corpus (CAIS). Experimental results show that the CM-Net achieves the state-of-the-art results on the ATIS and SNIPS in most of criteria, and significantly outperforms the baseline models on the CAIS. Additionally, we make the CAIS dataset publicly available for the research community.

研究动机与目标

• 为解决现有模型在语音语言理解中未能充分利用槽位与意图之间共现关系的局限性。
• 通过显式建模词、槽位与意图之间的双向交互，提升联合意图检测与槽位填充的性能。
• 通过结构化模块设计中的迭代信息交换，增强局部上下文表示与全局序列表示。
• 通过新收集并公开的语料库（CAIS），验证模型在多样化领域与语言上的泛化能力。
• 向研究社区贡献一个新且高质量的标注语料库（CAIS），以推动语音语言理解研究的发展。

提出的方法

• CM-Net架构基于一种新颖的CM-block构建，该模块执行三个顺序操作：深思熟虑注意力（Deliberate Attention）、局部计算（Local Calculation）和全局递归（Global Recurrence）。
• 深思熟虑注意力通过注意力机制从两个专用记忆中协同计算槽位特定与意图特定的表示，以检索相关信息。
• 局部计算通过关注上一步生成的槽位与意图特定表示，更新每个标记的局部上下文表示。
• 全局递归通过将双向LSTM应用于更新后的局部表示，生成全局序列表示，以保留长距离依赖关系。
• 通过堆叠多个CM-block，实现层间表示的逐步优化，支持更深层次的信息交换。
• 模型将预训练的BERT嵌入作为输入特征，进一步提升基准数据集上的性能。

实验结果

研究问题

• RQ1 协同记忆机制能否有效捕捉语音语言理解中槽位与意图之间的双向语义相关性？
• RQ2 所提出的CM-block架构相较于标准RNN或CNN模型，在局部上下文与全局话语表示方面有何改进？
• RQ3 在记忆、局部上下文与全局序列之间进行的迭代信息交换，对联合意图检测与槽位填充性能的提升程度如何？
• RQ4 CM-Net在分布外或低资源设置下（如新收集的多样化语料库）是否具有良好的泛化能力？
• RQ5 将像BERT这样的预训练语言模型集成到CM-Net架构中，能否进一步提升其性能？

主要发现

• 在ATIS基准上，CM-Net达到最先进性能，当使用BERT作为输入时，意图检测准确率达97.31%，槽位填充F1得分为99.32%。
• 在SNIPS基准上，CM-Net建立新最先进性能，通过BERT微调，实现97.31%的意图准确率与99.32%的槽位F1得分。
• 在自收集的CAIS数据集上，CM-Net在槽位填充上取得86.16%的F1得分，在意图检测上达到94.56%的准确率，显著优于BiLSTM-CRF与S-LSTM基线模型。
• 消融实验表明，CM-block的每个组件——深思熟虑注意力、局部计算与全局递归——均对性能提升有显著贡献。
• 在所有基准上，预训练BERT嵌入的集成均持续提升性能，表明上下文特征在CM-Net框架中的有效性。
• 公开发布的CAIS数据集为未来低资源与多语言语音语言理解研究提供了宝贵资源。