[论文解读] DANCin SEQ2SEQ: Fooling Text Classifiers with Adversarial Text Example Generation

Catherine Wong|arXiv (Cornell University)|Dec 14, 2017

Adversarial Robustness in Machine Learning参考文献 5被引用 20

一句话总结

DANCin SEQ2SEQ 提出了一种受 GAN 启发的、基于强化学习的方法，用于生成语义上合理的对抗性文本样本，以欺骗黑盒文本分类器，而无需访问模型参数。该方法成功生成了能提高误分类概率同时保持语义相似性的扰动，展示了在垃圾邮件过滤等现实攻击场景中的可行性。

ABSTRACT

Machine learning models are powerful but fallible. Generating adversarial examples - inputs deliberately crafted to cause model misclassification or other errors - can yield important insight into model assumptions and vulnerabilities. Despite significant recent work on adversarial example generation targeting image classifiers, relatively little work exists exploring adversarial example generation for text classifiers; additionally, many existing adversarial example generation algorithms require full access to target model parameters, rendering them impractical for many real-world attacks. In this work, we introduce DANCin SEQ2SEQ, a GAN-inspired algorithm for adversarial text example generation targeting largely black-box text classifiers. We recast adversarial text example generation as a reinforcement learning problem, and demonstrate that our algorithm offers preliminary but promising steps towards generating semantically meaningful adversarial text examples in a real-world attack scenario.

研究动机与目标

• 为解决文本分类器中缺乏有效的对抗性样本生成方法，特别是针对模型参数未知的黑盒设置。
• 开发一种实用方法，用于生成与原始输入语义相似但能提高误分类概率的对抗性文本样本。
• 探索强化学习与 GAN 类框架是否可被适配用于离散、序列化的文本数据，以实现对抗目的。
• 通过生成对抗性样本揭示文本分类器的潜在假设，从而提供对模型脆弱性的洞察。
• 在真实世界的二分类文本分类任务——使用 Enron 数据集的垃圾邮件与正常邮件过滤——上评估该方法。

提出的方法

• 将对抗性文本样本生成问题重新构架为使用 REINFORCE 策略梯度方法的强化学习问题。
• 通过生成器生成扰动后的文本序列，并利用目标分类器的奖励信号，将 GAN 式训练适配于离散文本生成。
• 采用一种奖励函数，对语义不相似性进行惩罚，并奖励目标模型误分类概率的提升。
• 基于目标分类器输出的概率，使用类似判别器的反馈机制来指导生成器。
• 在低置信度样本上预训练生成器，以改善探索能力并避免训练过程中的模式崩溃。
• 应用诸如重复标记惩罚和分步奖励（REGS）公式等技术，以稳定训练过程。

实验结果

研究问题

• RQ1 在无法访问模型参数的黑盒设置下，能否有效生成对抗性文本样本？
• RQ2 强化学习与 GAN 启发的训练能否被适配用于生成离散文本序列中语义有意义的对抗性扰动？
• RQ3 生成的对抗性样本在多大程度上能提高目标文本分类器的误分类概率，同时保持语义相似性？
• RQ4 通过分析该方法生成的对抗性样本，能揭示目标模型的哪些基本假设？
• RQ5 此类 GAN 类框架在文本领域中的训练过程是否稳定且有效？

主要发现

• 生成器学会识别并替换高度与垃圾邮件相关的词元，使用语义相似的替代词，从而提高误分类概率。
• 尽管存在训练不稳定性与模式崩溃问题，生成器在许多情况下仍能保持人类感知的语义相似性。
• 在低置信度样本上进行预训练可改善探索能力，帮助生成器发现更复杂、更有意义的词元替换。
• 即使某些对抗性样本未能保持语义，也能揭示目标模型的根本假设，例如朴素贝叶斯分类器对词袋特征的依赖。
• 该方法在现实世界中对文本分类器的黑盒攻击中展现出可行性，为探测模型脆弱性提供了一套实用框架。
• 初步结果表明，结合策略梯度的 GAN 式训练可作为对抗性文本样本生成的可行路径，但稳定性仍是挑战。