[论文解读] Adversarial Training Methods for Semi-Supervised Text Classification

Takeru Miyato, Andrew M. Dai+1 more|arXiv (Cornell University)|May 25, 2016

Adversarial Robustness in Machine Learning参考文献 29被引用 201

一句话总结

作者将对抗性训练和虚拟对抗性训练扩展到文本，通过对RNN中的词嵌入进行扰动，在多项半监督和监督文本任务上实现了最先进的结果。IMDB上的5.91%测试错误率显示出强劲的性能。

ABSTRACT

Adversarial training provides a means of regularizing supervised learning algorithms while virtual adversarial training is able to extend supervised learning algorithms to the semi-supervised setting. However, both methods require making small perturbations to numerous entries of the input vector, which is inappropriate for sparse high-dimensional inputs such as one-hot word representations. We extend adversarial and virtual adversarial training to the text domain by applying perturbations to the word embeddings in a recurrent neural network rather than to the original input itself. The proposed method achieves state of the art results on multiple benchmark semi-supervised and purely supervised tasks. We provide visualizations and analysis showing that the learned word embeddings have improved in quality and that while training, the model is less prone to overfitting. Code is available at https://github.com/tensorflow/models/tree/master/research/adversarial_text.

研究动机与目标

• 为半监督文本分类提供稳健正则化的动机。
• 通过扰动嵌入而非离散词元，将对抗性训练适应于高维、稀疏的文本输入。
• 在多样的文本分类基准上展示经验性性能提升。
• 分析对抗性训练如何影响词嵌入和模型泛化。

提出的方法

• 对词嵌入进行有界范数扰动，以在文本输入上创建对抗性示例。
• 在规范化嵌入序列上使用 log p(y|s;θ) 的梯度定义 r_adv。
• 通过 KL 散度定义 r_vadv，以在使用未标记数据时鼓励局部输出分布的平滑性。
• 在有标签和无标签数据上，用递归语言模型对词嵌入和 LSTM 进行预训练。
• 以包含标准损失以及 L_adv 和/或 L_vadv 的组合目标进行训练。
• 在多个数据集（IMDB，Elec，Rotten Tomatoes，DBpedia，RCV1）上进行评估，使用单向和双向 LSTM。

实验结果

研究问题

• RQ1 对抗性训练是否提高文本分类器的泛化性和鲁棒性？
• RQ2 虚拟对抗性训练能否在使用未标记数据的半监督文本分类中扩大其收益？
• RQ3 对学习到的词嵌入和模型表示，对抗性扰动会产生何种影响？
• RQ4 在多样数据集上，与最先进的有监督和半监督文本分类方法相比，所提方法的表现如何？

主要发现

• 在 IMDB 上，虚拟对抗性训练实现了 5.91% 的测试错误率，接近最先进水平，同时使用单向 LSTM。
• 对抗性训练单独使用可减少过拟合、提升相对于基线的鲁棒性；结合对抗性和虚拟对抗性训练可取得有竞争力的结果。
• 在 Elec 和 RCV1 上，该方法达到或超过最先进的性能，Adversarial+Virtual Adversarial 在 Elec 上达到 5.40%，在 RCV1 上根据配置达到 6.68%–6.97%。
• 在 Rotten Tomatoes 上，对抗性方法相对于基线有提升（16.6%–16.8% vs. 17.9%），而单独的虚拟对抗性训练可能因标注数据少而表现不佳。
• 在 DBpedia 上，对抗性和虚拟对抗性训练相较基线分别提升了 0.79% 和 0.76% 的错误率，低于 0.90%。
• 使用对抗性/虚拟对抗性训练学习的嵌入在语义分离方面得到改进（如‘good’与‘bad’邻域的分离度更高），相比基线和随机扰动。