[论文解读] A Target-Agnostic Attack on Deep Models: Exploiting Security Vulnerabilities of Transfer Learning

Shahbaz Rezaei, Xin Liu|arXiv (Cornell University)|Apr 8, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用 35

一句话总结

本文提出了一种与目标无关的穷举攻击，该攻击仅使用公开的预训练模型即可构造输入，以触发迁移学习模型中的任意目标类别，揭示了此类设置下的 Softmax 漏洞。

ABSTRACT

Due to insufficient training data and the high computational cost to train a deep neural network from scratch, transfer learning has been extensively used in many deep-neural-network-based applications. A commonly used transfer learning approach involves taking a part of a pre-trained model, adding a few layers at the end, and re-training the new layers with a small dataset. This approach, while efficient and widely used, imposes a security vulnerability because the pre-trained model used in transfer learning is usually publicly available, including to potential attackers. In this paper, we show that without any additional knowledge other than the pre-trained model, an attacker can launch an effective and efficient brute force attack that can craft instances of input to trigger each target class with high confidence. We assume that the attacker has no access to any target-specific information, including samples from target classes, re-trained model, and probabilities assigned by Softmax to each class, and thus making the attack target-agnostic. These assumptions render all previous attack models inapplicable, to the best of our knowledge. To evaluate the proposed attack, we perform a set of experiments on face recognition and speech recognition tasks and show the effectiveness of the attack. Our work reveals a fundamental security weakness of the Softmax layer when used in transfer learning settings.

研究动机与目标

• 在仅使用公开可得的预训练模型的前提下，演示针对迁移学习系统的目标无关攻击。
• 展示 Softmax 漏洞在没有目标类别样本的情况下也能实现高置信度错分类。
• 评估在脸部识别和语音识别任务中的攻击有效性。
• 讨论在开放集/迁移学习背景下基于 Softmax 的分类器的防御考虑因素与局限性。

提出的方法

• 迭代性地激活特征提取器输出中的单个神经元，以构造对抗图像。
• 定义一个目标损失 L，使其强调单个被激活的神经元，同时通过带 relu 的改进均方误差来抑制其他神经元，以忽略负激活。
• 在 M 个神经元（激活向量分量）上进行穷举，以通过梯度引导的输入空间迭代更新来生成对抗输入。
• 使用一个小的再训练数据集和固定的特征提取器，仅重新训练最终分类器，模拟迁移学习场景。
• 在基于阈值的模型与增设拒绝/未知类别的模型下比较攻击性能。
• 对脸部识别（VGG-face）和语音识别设置进行评估，以量化 NABAC 及在 95%/99% 置信度下的有效性。

实验结果

研究问题

• RQ1 攻击者是否可以在不获取目标类别样本或再训练模型的情况下，构造通用对抗输入，骗过任何共享同一预训练特征提取器的再训练模型？
• RQ2 Softmax 在迁移学习中对目标无关攻击有多脆弱？在拒绝类或开放集分类器等防御下，这种漏洞是否仍然存在？
• RQ3 在面部识别和语音识别任务中，此类攻击的实际有效性和查询效率如何？
• RQ4 哪些防御策略（例如如 EVM 这类考虑分布的分类器）可以缓解攻击，并会带来哪些权衡？

主要发现

• 该攻击仅使用预训练模型即可为所有目标类别构造高置信度的对抗输入，而无需目标特定数据。
• 对激活向量神经元进行一次穷举通常足以在共享同一预训练模型的再训练模型中触发目标类别。
• 在实际设置下，基于阈值的或拒绝类别的防御未能充分缓解攻击，仍观察到高效性。
• 增加更多的再训练层或更深的新分类器往往降低攻击有效性，但目标无关属性仍然存在，特别是当预训练特征提取器相似时。
• 开放集/分布感知分类器如 EVM 能降低攻击成功率，但在整体准确性和鲁棒性上带来权衡。
• 与黑盒 Zoo 攻击相比，所提出的方法需要的查询次数要少得多（通常只对学生模型进行一次查询），并在相同的迁移学习假设下显示出更高的有效性。