[论文解读] A Data Efficient End-To-End Spoken Language Understanding Architecture

Marco Dinarelli, Nikita Kapoor+2 more|arXiv (Cornell University)|Feb 14, 2020

Speech Recognition and Synthesis参考文献 24被引用 5

一句话总结

该论文提出了一种数据高效、端到端的语音语言理解（SLU）架构，通过渐进式训练过程联合学习声学、语言和语义特征，无需依赖外部预训练语言模型。仅使用标准的MEDIA训练数据（16.8小时标注的用户语句），该模型在MEDIA/test集上实现了24.02%的词汇错误率（CER），优于在更大规模数据集上训练的先前端到端模型。

ABSTRACT

End-to-end architectures have been recently proposed for spoken language understanding (SLU) and semantic parsing. Based on a large amount of data, those models learn jointly acoustic and linguistic-sequential features. Such architectures give very good results in the context of domain, intent and slot detection, their application in a more complex semantic chunking and tagging task is less easy. For that, in many cases, models are combined with an external language model to enhance their performance. In this paper we introduce a data efficient system which is trained end-to-end, with no additional, pre-trained external module. One key feature of our approach is an incremental training procedure where acoustic, language and semantic models are trained sequentially one after the other. The proposed model has a reasonable size and achieves competitive results with respect to state-of-the-art while using a small training dataset. In particular, we reach 24.02% Concept Error Rate (CER) on MEDIA/test while training on MEDIA/train without any additional data.

研究动机与目标

• 开发一种端到端SLU系统，在极小训练数据下实现高性能，避免依赖大规模预训练语言模型。
• 解决在低资源环境下语音语言理解中语义片段划分与标注的挑战，其中声学与语言特征的联合学习在低数据条件下尤为困难。
• 通过引入顺序渐进式训练策略，提升端到端SLU中的数据效率，逐步训练声学、语言和语义组件。
• 证明联合端到端学习声学与语义特征可优于使用外部语言模型进行重打分的流水线系统。
• 仅使用标准训练数据，在MEDIA基准上实现具有竞争力的性能，无需额外数据或来自其他NLP任务的迁移学习。

提出的方法

• 模型采用序列到序列架构，声学与语言特征共享编码器，解码器同时生成语义概念与词元。
• 采用渐进式训练流程：先训练声学特征，再进行语言建模，最后联合学习语义标注，实现特征的逐步优化。
• 模型在单一输出中同时解码词元与概念，例如<chambre double chambre-type>，实现联合片段划分与标注，无需中间的BIO格式。
• 探索两种变体：一种在SLU训练期间微调词元表示（tune），另一种采用双解码器结构（XT），将概念预测与边界检测解耦。
• 通过按语句长度排序训练语句，应用课程学习策略，以提升训练稳定性和收敛性。
• 在法语MEDIA语料库上端到端训练模型，仅使用用户语句标注（16.8小时标注数据），不使用外部数据或预训练语言模型。

实验结果

研究问题

• RQ1 端到端SLU模型是否能在不依赖外部预训练语言模型或大规模数据的情况下，实现语义片段划分与标注的竞争力表现？
• RQ2 渐进式训练策略（按顺序训练声学、语言和语义组件）是否能在低资源SLU设置中提升数据效率与最终性能？
• RQ3 与使用外部语言模型进行重打分的流水线系统相比，联合端到端学习声学与语义特征的效果如何？
• RQ4 单个序列到序列模型在不依赖BIO等中间标注格式的情况下，能否有效联合学习词元级与概念级输出？
• RQ5 将片段划分与概念预测解耦的双解码器架构是否能在低数据SLU场景中提升性能？

主要发现

• 该模型在MEDIA/test集上实现了24.02%的词汇错误率（CER），与在更大规模数据集上训练的最先进系统表现相当。
• 与从零开始直接训练完整模型相比，渐进式训练策略将错误率降低了超过30个百分点。
• 双解码器变体（XT）的性能与在大量数据和迁移学习下训练的模型相当，证明了解耦片段划分与标注的有效性。
• 该模型优于强基线HMM-DNN ASR系统（开发集WER为25.1%），并在仅使用41.5小时语音数据的情况下，超越了先前的端到端ASR系统在MEDIA上的表现。
• 课程学习策略（按长度排序）相比非课程训练将WER降低了1%，证实其在训练稳定性方面的优势。
• 该模型在不使用任何外部语言模型或预训练的情况下取得优异结果，证明联合端到端学习结合渐进式训练是多阶段、数据密集型方法的可行且高效替代方案。