[论文解读] Multi-Domain Adversarial Learning for Slot Filling in Spoken Language Understanding

Bing Liu, Ian Lane|arXiv (Cornell University)|Nov 30, 2017

Domain Adaptation and Few-Shot Learning参考文献 11被引用 25

一句话总结

本文提出多领域对抗学习，以在语音理解（SLU）的槽填充任务中学习共享的、领域不变的表征。通过使用领域对抗损失训练一个领域通用模型以隐藏领域身份，该方法提升了跨领域泛化能力，F1得分高于非对抗模型，并在与领域特定模型联合优化时实现更优性能。

ABSTRACT

The goal of this paper is to learn cross-domain representations for slot filling task in spoken language understanding (SLU). Most of the recently published SLU models are domain-specific ones that work on individual task domains. Annotating data for each individual task domain is both financially costly and non-scalable. In this work, we propose an adversarial training method in learning common features and representations that can be shared across multiple domains. Model that produces such shared representations can be combined with models trained on individual domain SLU data to reduce the amount of training samples required for developing a new domain. In our experiments using data sets from multiple domains, we show that adversarial training helps in learning better domain-general SLU models, leading to improved slot filling F1 scores. We further show that applying adversarial learning on domain-general model also helps in achieving higher slot filling performance when the model is jointly optimized with domain-specific models.

研究动机与目标

• 解决为语音理解（SLU）系统标注领域特定数据所面临的高成本与可扩展性问题。
• 在多个任务领域间学习共享的、领域通用的表征，以减少对大规模领域内标注数据的依赖。
• 通过对抗特征学习联合训练领域通用与领域特定模型，提升槽填充性能。
• 通过对抗训练利用跨领域知识，提升低资源领域中的泛化能力。
• 探究在与领域特定模型结合时，领域通用模型的对抗训练是否能提升性能。

提出的方法

• 使用双向LSTM编码器从话语中生成上下文词表征，随后通过CRF层进行槽标注。
• 引入领域判别器，基于双向LSTM的隐藏状态对输入话语的领域进行分类。
• 通过梯度反转最小化领域判别器的准确率，实施领域对抗训练，迫使编码器学习领域不变特征。
• 使用组合损失函数优化领域通用模型：槽标注损失 + 带超参数λ控制权衡的对抗性领域分类损失。
• 与领域特定模型联合训练领域通用模型，共享相同的编码器和对抗训练目标。
• 使用梯度裁剪、dropout（0.5）以及初始值为1e-3的Adam优化器以实现稳定训练。

实验结果

研究问题

• RQ1 对抗训练能否有效学习多个SLU领域中槽填充的领域不变表征？
• RQ2 使用对抗损失训练的领域通用模型是否在槽填充F1得分上优于非对抗的领域通用模型？
• RQ3 与单独模型相比，联合优化领域通用与领域特定模型是否能提升整体槽填充性能？
• RQ4 对抗损失规模（λ）如何影响领域通用模型与联合模型的性能？
• RQ5 对抗学习在多大程度上能减少开发新SLU领域所需的数据量？

主要发现

• 使用对抗训练（λ = 0.01）的领域通用模型在联合测试集上达到76.55的F1得分，优于非对抗领域通用模型（76.03 F1）。
• 在MIT电影（eng）语料库上，对抗领域通用模型的F1从82.95提升至83.03，表明在各领域中均实现稳定提升。
• 联合模型通过对抗训练在MIT电影（eng）语料库上相较仅使用领域特定模型提升1.90% F1，在trivia10k13语料库上提升1.69%。
• 使用更高的对抗损失规模（λ = 1.0）导致性能显著下降，联合测试集上F1降至66.66，表明存在过正则化现象。
• 联合模型在四个数据集中的三个实现了最高F1得分，证明对抗学习在集成设置中的优势。
• 领域通用模型的错误通常源于将其他领域中语义相似但错误的标签分配给当前样本，凸显了学习领域不变表征的必要性。