[论文解读] Data Augmentation for Spoken Language Understanding via Pretrained Models

Baolin Peng, Chenguang Zhu+2 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 23被引用 21

一句话总结

本文提出了一种基于预训练语言模型的语音语言理解（SLU）数据增强框架，以应对数据稀缺问题，特别是在两种未被充分探索的场景中：本体丰富（ontology-rich）和话语丰富（utterance-rich）设置。该方法生成多样化且高质量的合成训练话语，在多个基准测试中显著提升了SLU模型的性能。

ABSTRACT

The training of spoken language understanding (SLU) models often faces the problem of data scarcity. In this paper, we put forward a data augmentation method with pretrained language models to boost the variability and accuracy of generated utterances. Furthermore, we investigate and propose solutions to two previously overlooked scenarios of data scarcity in SLU: i) Rich-in-Ontology: ontology information with numerous valid dialogue acts are given; ii) Rich-in-Utterance: a large number of unlabelled utterances are available. Empirical results show that our method can produce synthetic training data that boosts the performance of language understanding models in various scenarios.

研究动机与目标

• 通过生成合成训练数据来解决语音语言理解（SLU）中的数据稀缺问题。
• 探究并解决两种被忽视的数据稀缺场景：本体丰富和话语丰富。
• 利用预训练语言模型提高生成话语的多样性与准确性。
• 通过在低资源设置下有效进行数据增强，提升SLU模型性能。

提出的方法

• 利用预训练语言模型，基于对话行为和本体信息生成合成话语。
• 设计一种条件生成策略，以保持与原始本体在语义和结构上的一致性。
• 在话语丰富场景中，利用未标注话语通过微调或提示工程来指导生成。
• 应用回译或改写技术，在保持意图和槽位准确性的前提下提升话语多样性。
• 将生成的数据整合到训练流程中，以微调SLU模型。
• 通过自动评估和人工评估指标对合成数据的质量进行评估。

实验结果

研究问题

• RQ1 预训练语言模型能否在低资源设置下有效生成多样化且准确的SLU话语？
• RQ2 在本体丰富场景中，即本体全面但话语稀缺时，数据增强的效果如何？
• RQ3 当存在大量未标注话语但无标签数据时（即话语丰富场景），该方法表现如何？
• RQ4 合成数据对不同数据稀缺场景下下游SLU模型性能的影响如何？
• RQ5 生成话语的质量在意图和槽位预测准确性方面与真实数据相比如何？

主要发现

• 所提出的方法通过生成高质量的合成话语，显著提升了SLU模型性能，增强了模型的泛化能力。
• 在本体丰富场景中，该模型在意图和槽位准确率方面优于基线数据增强技术。
• 在话语丰富场景中，该方法有效利用了未标注数据，生成了多样化且语义正确的合成话语。
• 实证结果表明，该方法在多个SLU基准测试中均表现出一致的性能提升，证明了其在不同数据稀缺条件下的鲁棒性。
• 生成的合成数据保持了高度的语义保真度，在无需额外标注的情况下有效缓解了数据稀缺问题。