[论文解读] Composed Variational Natural Language Generation for Few-shot Intents

Congying Xia, Caiming Xiong+2 more|arXiv (Cornell University)|Sep 21, 2020

Topic Modeling参考文献 29被引用 5

一句话总结

本文提出了一种基于Transformer的组合变分自然语言生成模型（CLANG），该模型通过将意图建模为领域与动作的组合，生成少样本意图的合成训练数据。通过使用解耦的潜在变量和对比正则化，CLANG显著提升了少样本意图检测的性能，在两个真实世界数据集上达到了最先进水平。

ABSTRACT

In this paper, we focus on generating training examples for few-shot intents in the realistic imbalanced scenario. To build connections between existing many-shot intents and few-shot intents, we consider an intent as a combination of a domain and an action, and propose a composed variational natural language generator (CLANG), a transformer-based conditional variational autoencoder. CLANG utilizes two latent variables to represent the utterances corresponding to two different independent parts (domain and action) in the intent, and the latent variables are composed together to generate natural examples. Additionally, to improve the generator learning, we adopt the contrastive regularization loss that contrasts the in-class with the out-of-class utterance generation given the intent. To evaluate the quality of the generated utterances, experiments are conducted on the generalized few-shot intent detection task. Empirical results show that our proposed model achieves state-of-the-art performances on two real-world intent detection datasets.

研究动机与目标

• 为解决在类别不平衡数据集中少样本意图检测的低资源挑战。
• 通过将意图建模为领域与动作的组合，弥合多样本与少样本意图之间的差距。
• 利用解耦的潜在表征，为少样本意图生成高质量且多样化的训练样本。
• 通过生成过程中的对比正则化提升少样本意图检测的泛化能力。
• 在广义少样本意图检测任务中实现最先进性能。

提出的方法

• CLANG是一种基于Transformer的条件变分自编码器（CVAE），采用双潜在变分编码器，使用两个独立的潜在变量分别表示领域和动作。
• 专用的自注意力掩码引导每个潜在变量聚焦于输入话语中对应的语义部分，从而实现领域与动作表征的解耦。
• 通过解码器将采样的领域与动作潜在码进行组合，生成话语。
• 引入对比正则化损失，以最大化生成同类（正样本）话语的可能性，同时最小化生成异类（负样本）话语的可能性，从而提升生成质量。
• 推理过程中执行组合变分推理，以生成多样且相关的少样本意图话语。
• 该框架在现有大量样本意图数据上端到端训练，以学习可迁移的表征，实现少样本泛化。

实验结果

研究问题

• RQ1 将意图建模为领域与动作的组合，能否提升少样本意图生成与检测性能？
• RQ2 领域与动作的解耦潜在表征能否带来对未见少样本意图的更好泛化能力？
• RQ3 对比正则化是否能提升少样本设置下生成话语的质量与多样性？
• RQ4 组合变分生成器能否在广义少样本意图检测任务中超越现有数据增强方法？
• RQ5 CLANG在生成低资源意图的真实且多样化的训练样本方面效果如何？

主要发现

• 在两个真实世界意图检测数据集上，CLANG在广义少样本意图检测（GFSID）任务中均达到最先进性能。
• 在人工评估中，80.99%的Alarm Query意图生成话语被评为质量良好，其中多数为有效的数据增强变体（如增删、新增时间槽、重述问题等）。
• 模型生成了19.01%的错误案例，主要原因为意图预测错误或错误使用疑问词，表明在解耦方面仍有改进空间。
• 对比正则化损失显著提升了生成质量，有效降低了生成异类话语的可能性。
• CLANG优于使用简单规则增强或LSTM等容量有限的文本生成方法。
• 消融实验验证了，解耦潜在结构与对比损失对最优性能均至关重要。