[论文解读] Automatic Data Expansion for Customer-care Spoken Language Understanding

Shahab Jalalvand, Andrej Ljolje+1 more|arXiv (Cornell University)|Sep 27, 2018

Speech Recognition and Synthesis参考文献 14被引用 5

一句话总结

本文提出了一种基于n-gram的自动数据扩展方法，用于客服语音理解（SLU）任务，该方法利用初步的NLU模型识别每个意图的有用n-gram，然后基于这些n-gram选择相关的域外（OOD）数据，以训练性能更优的语言模型和NLU模型。与基线模型相比，该方法将分类错误率（CER）降低了30%，并优于TF-IDF、嵌入方法及半监督学习方法。

ABSTRACT

Spoken language understanding (SLU) systems are widely used in handling of customer-care calls.A traditional SLU system consists of an acoustic model (AM) and a language model (LM) that areused to decode the utterance and a natural language understanding (NLU) model that predicts theintent. While AM can be shared across different domains, LM and NLU models need to be trainedspecifically for every new task. However, preparing enough data to train these models is prohibitivelyexpensive. In this paper, we introduce an efficient method to expand the limited in-domain data. Theprocess starts with training a preliminary NLU model based on logistic regression on the in-domaindata. Since the features are based onn= 1,2-grams, we can detect the most informative n-gramsfor each intent class. Using these n-grams, we find the samples in the out-of-domain corpus that1) contain the desired n-gram and/or 2) have similar intent label. The ones which meet the firstconstraint are used to train a new LM model and the ones that meet both constraints are used to train anew NLU model. Our results on two divergent experimental setups show that the proposed approachreduces by 30% the absolute classification error rate (CER) comparing to the preliminary modelsand it significantly outperforms the traditional data expansion algorithms such as the ones based onsemi-supervised learning, TF-IDF and embedding vectors.

研究动机与目标

• 解决客服应用中SLU系统因领域内训练数据有限而面临的挑战。
• 在仅拥有少量领域内数据的情况下，提升语言模型（LM）和NLU模型的性能。
• 开发一种数据扩展技术，利用初步NLU模型提取的有用n-gram，选择相关的域外数据。
• 在低资源SLU场景下，优于传统的数据扩展方法，如TF-IDF、词嵌入和半监督学习。

提出的方法

• 使用逻辑回归在领域内数据上训练初步的NLU模型，特征为n-gram（n=1,2）。
• 通过分析训练后NLU模型的特征权重，提取每个意图下最具有信息量的n-gram。
• 选择包含目标n-gram的OOD样本，用于重新训练语言模型（LM）。
• 选择同时匹配目标n-gram和意图标签的OOD样本，用于重新训练NLU模型。
• 使用所选的OOD数据对LM和NLU模型进行微调，提升在新SLU任务上的泛化能力。
• 通过在两个具有差异性的SLU任务上使用有限的领域内数据评估分类错误率（CER）来衡量性能。

实验结果

研究问题

• RQ1 来自初步NLU模型的n-gram特征能否有效指导相关域外数据的选择，以用于SLU模型训练？
• RQ2 在CER降低方面，基于n-gram的数据扩展方法与TF-IDF和词嵌入方法相比表现如何？
• RQ3 当领域内数据稀缺时（例如每意图仅10个样本），数据扩展能在多大程度上提升性能？
• RQ4 当任务中存在大量在OOD语料库中未出现过的未见意图标签时，该方法表现如何？

主要发现

• 所提出的基于n-gram的数据扩展方法，与仅使用领域内数据训练的基线模型相比，将分类错误率（CER）降低了30%。
• 在任务A中，使用48,000个选定的OOD语句，该方法实现了44.21%的CER，显著优于基线通用LM和领域内NLU模型（71.28% CER）。
• 该方法从OOD语料库中选出了3,030个唯一词汇，表明其数据多样性高于TF-IDF（2,169个词汇）和嵌入方法（2,572个词汇）。
• 即使每意图仅有10个领域内样本，该方法仍实现了显著的CER改进，且随着领域内数据量增加至每意图150个样本，性能差距依然显著。
• 该方法在处理未见意图标签方面表现出强鲁棒性，可通过字符串匹配识别相似意图标签，并借助数据扩展仍能提升性能。