[论文解读] Customizing Triggers with Concealed Data Poisoning.

Eric Wallace, Tony Z. Zhao+2 more|arXiv (Cornell University)|Oct 23, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用 14

一句话总结

本文提出了一种基于梯度的数据中毒攻击，通过在训练数据中注入细微且与触发词相关的行为，秘密地操纵NLP模型，而不会改变毒化样本的表面文本。该方法可精确控制模型预测——例如，将包含'James Bond'的输入分类为'Positive'——同时保持高模型准确率并规避检测。

ABSTRACT

Adversarial attacks alter NLP model predictions by perturbing test-time inputs. However, it is much less understood whether, and how, predictions can be manipulated with small, concealed changes to the training data. In this work, we develop a new data poisoning attack that allows an adversary to control model predictions whenever a desired trigger phrase is present in the input. For instance, we insert 50 poison examples into a sentiment model's training set that causes the model to frequently predict Positive whenever the input contains James Bond. Crucially, we craft these poison examples using a gradient-based procedure so that they do not mention the trigger phrase. We also apply our poison attack to language modeling (Apple iPhone triggers negative generations) and machine translation (iced coffee mistranslated as hot coffee). We conclude by proposing three defenses that can mitigate our attack at some cost in prediction accuracy or extra human annotation.

研究动机与目标

• 调查并探究是否以及如何通过训练数据的微小、隐蔽修改来操纵模型预测。
• 开发一种数据中毒攻击，使攻击者能够在输入中出现特定触发短语时控制模型行为。
• 在多个NLP任务中展示该攻击的有效性，包括情感分类、语言建模和机器翻译。
• 提出实用的防御措施以减轻该攻击，尽管会带来准确率下降或标注成本增加的权衡。

提出的方法

• 该攻击使用基于梯度的优化过程，生成不包含触发短语但能训练模型将触发词与期望预测关联起来的毒化样本。
• 毒化样本被设计为对整体模型性能影响最小，同时最大化目标触发短语引发期望标签的可能性。
• 该方法应用于情感分类任务，仅使用50个毒化样本即可使模型在输入中出现'James Bond'时预测为'Positive'。
• 在语言建模任务中，该攻击导致'Apple iPhone'触发负面文本生成。
• 在机器翻译任务中，该攻击导致'iced coffee'被错误翻译为'hot coffee'。
• 基于异常检测、数据净化和人工介入验证提出了防御措施，每种方法均涉及准确率下降或标注工作量增加的权衡。

实验结果

研究问题

• RQ1 是否可以通过对训练数据进行微小且隐蔽的修改，使NLP模型在触发短语出现时产生特定预测？
• RQ2 基于梯度的方法在生成不提及触发短语但能引发目标行为的毒化样本方面有多有效？
• RQ3 该攻击是否可泛化至多样化的NLP任务，如情感分析、语言建模和机器翻译？
• RQ4 针对此类数据中毒攻击的实际防御措施有哪些，其相关成本是什么？

主要发现

• 该攻击成功使情感分类模型在'James Bond'出现时预测为'Positive'，仅使用50个毒化样本。
• 毒化样本不包含触发短语，因此通过简单检查难以检测。
• 该攻击可泛化至语言建模任务，导致'Apple iPhone'触发负面文本生成。
• 在机器翻译任务中，由于中毒攻击，'iced coffee'被一致错误翻译为'hot coffee'。
• 提出了三种防御措施，每种均降低了攻击成功率，但均导致模型准确率明显下降或需要额外的人工标注。
• 即使在模型使用干净数据进行微调后，该攻击仍保持有效性，表明其对标准缓解策略具有强韧性。