[论文解读] Data Augmentation with Atomic Templates for Spoken Language Understanding

Zijian Zhao, Su Zhu+1 more|arXiv (Cornell University)|Aug 28, 2019

Topic Modeling参考文献 20被引用 8

一句话总结

本文提出一种基于原子模板的语音语言理解（SLU）数据增强方法，通过从对话行为三元组生成多样且自然的语句，仅需极少的人工投入。该方法利用编码器-解码器模型从原子范例（即对行为-槽-值三元组的细粒度自然语言描述）生成语句，从而在DSTC2和DSTC3数据集上实现显著的性能提升，优于强基线模型，并以远低于人工设计模板的标注成本逼近人工模板的性能。

ABSTRACT

Spoken Language Understanding (SLU) converts user utterances into structured semantic representations. Data sparsity is one of the main obstacles of SLU due to the high cost of human annotation, especially when domain changes or a new domain comes. In this work, we propose a data augmentation method with atomic templates for SLU, which involves minimum human efforts. The atomic templates produce exemplars for fine-grained constituents of semantic representations. We propose an encoder-decoder model to generate the whole utterance from atomic exemplars. Moreover, the generator could be transferred from source domains to help a new domain which has little data. Experimental results show that our method achieves significant improvements on DSTC 2\&3 dataset which is a domain adaptation setting of SLU.

研究动机与目标

• 为解决语音语言理解（SLU）中的数据稀疏问题，特别是在标注数据有限的新领域或低资源领域中的问题。
• 通过使用以自然语言描述行为-槽-值三元组的原子模板，减少数据增强中的人工标注负担。
• 通过将源领域上预训练的句子生成器微调至目标领域，仅使用少量数据，实现有效的领域迁移。
• 提升增强训练数据在表达和语义层面的多样性，以优化SLU模型性能。

提出的方法

• 在词组层面构建原子模板，用于生成针对单个行为-槽-值三元组的自然语言范例，相比完整句子模板，显著降低人工投入。
• 训练一个序列到序列的编码器-解码器模型，从一组原子范例生成完整语句，建模条件概率 p(x|y)，其中 x 为语句，y 为对话行为。
• 句子生成器在源领域（DSTC2）上进行预训练，并在目标领域（DSTC3）上使用少量种子数据进行微调，实现有效的领域迁移。
• 通过将对话行为映射到原子范例，处理未登录词（OOV）标签，提升对未见语义组合的泛化能力。
• 通过改写原子范例生成多样化、自然的语句，提升表达多样性。
• 消融实验评估了预训练、微调以及句子生成器的贡献，证明其在性能提升中的关键作用。

实验结果

研究问题

• RQ1 原子模板能否在显著降低SLU数据增强中人工标注成本的同时，维持甚至提升模型性能？
• RQ2 当目标领域仅有少量标注数据时，该方法在SLU领域迁移中的有效性如何？
• RQ3 与朴素或模板基线相比，从原子范例生成语句在语义和表达多样性方面提升的程度如何？
• RQ4 在低资源设置下，引入预训练句子生成器对生成语句的质量和泛化能力有何影响？
• RQ5 该方法能否在远低于人工设计模板的人力投入下，实现接近人工模板的性能？

主要发现

• 所提出的基于原子模板的数据增强方法在DSTC3测试集上达到88.6的F1分数，显著优于基线零样本模型（68.3）和朴素增强方法（82.9）。
• 结合种子缩减与组合策略可获得最佳性能（88.6），证明了生成多样化对话行为的有效性。
• 该方法在远低于人工模板的标注成本下，性能接近人工设计的句子级模板（90.4 F1），展现出强大的实际效率。
• 消融实验表明，若移除句子生成器，性能将下降14.6分（降至74.0），证明其在生成自然语句中的关键作用。
• 在源领域（DSTC2）预训练并微调至目标领域（DSTC3）显著提升性能，若移除任一阶段，性能分别下降4.3分和4.1分。
• 即使在无种子样本的情况下，该方法仍优于零样本基线，证明其在未见领域中具备零样本或少样本SLU能力。