[论文解读] Improving Robustness of Task Oriented Dialog Systems

Arash Einolghozati, Sonal Gupta+2 more|arXiv (Cornell University)|Nov 12, 2019

Topic Modeling参考文献 35被引用 16

一句话总结

本文通过使用回译和噪声自编码器生成对抗性测试集，并结合回译和对抗性logit配对损失进行数据增强，以提升模型对对抗性样本的鲁棒性。两种技术的结合显著提升了模型在对抗性样本上的性能，同时保持了在干净数据上的高准确率。

ABSTRACT

Task oriented language understanding in dialog systems is often modeled using intents (task of a query) and slots (parameters for that task). Intent detection and slot tagging are, in turn, modeled using sentence classification and word tagging techniques respectively. Similar to adversarial attack problems with computer vision models discussed in existing literature, these intent-slot tagging models are often over-sensitive to small variations in input -- predicting different and often incorrect labels when small changes are made to a query, thus reducing their accuracy and reliability. However, evaluating a model's robustness to these changes is harder for language since words are discrete and an automated change (e.g. adding `noise') to a query sometimes changes the meaning and thus labels of a query. In this paper, we first describe how to create an adversarial test set to measure the robustness of these models. Furthermore, we introduce and adapt adversarial training methods as well as data augmentation using back-translation to mitigate these issues. Our experiments show that both techniques improve the robustness of the system substantially and can be combined to yield the best results.

研究动机与目标

• 分析联合意图检测与槽位标注模型在任务导向对话系统中对微小输入扰动的鲁棒性。
• 使用回译和序列自编码器生成多样化、无目标的对抗性测试集，以评估模型鲁棒性。
• 通过回译和一种新型对抗性logit配对损失函数进行数据增强，提升模型鲁棒性。
• 评估结合数据增强与logit配对方法在自然语言处理中防御对抗性样本的有效性。

提出的方法

• 使用双语回译与噪声自编码器生成对抗性测试集，生成改写和结构改变的输入。
• 在训练中应用基于回译的数据增强，使用多个机器翻译系统和辅助语言以增加输入多样性。
• 引入对抗性logit配对损失，通过最小化原始输入与回译输入之间logits的差异，促使两者预测保持一致。
• 使用自训练自动标注回译改写文本，用于数据增强与logit配对。
• 结合干净数据、回译增强数据与对抗性logit配对损失联合训练模型，以提升鲁棒性。
• 在干净与对抗性测试集上评估模型性能，以衡量鲁棒性提升效果。

实验结果

研究问题

• RQ1 回译与基于自编码器的方法在生成多样化、无目标的对抗性样本（用于意图与槽位标注）方面效果如何？
• RQ2 基于回译的数据增强是否能在不降低干净测试数据性能的前提下提升模型鲁棒性？
• RQ3 对抗性logit配对损失是否在序列标注与联合意图检测场景下有效提升模型鲁棒性？
• RQ4 结合数据增强与logit配对与单独使用任一技术相比，在对抗性准确率方面表现如何？
• RQ5 不同机器翻译系统与辅助语言在对抗性样本与训练数据的质量与多样性方面影响如何？

主要发现

• 结合基于回译的数据增强与对抗性logit配对损失在对抗性测试集上取得最高性能，显著提升鲁棒性。
• 结合回译与自编码器方法生成的对抗性测试集优于仅使用任一方法生成的测试集。
• 基于回译的数据增强虽未直接针对对抗性样本，但能有效提升模型泛化能力与鲁棒性。
• 对抗性logit配对损失有效降低原始输入与扰动输入间预测方差，平滑决策边界。
• 两种防御技术结合可在保持干净测试集高准确率的同时，显著提升对抗性准确率。
• 在回译中使用多种辅助语言与翻译系统可增强对抗性样本与增强训练数据的多样性与有效性。