[论文解读] Maximal Jacobian-based Saliency Map Attack

Rey Reza Wiyatno, Anqi Xu|arXiv (Cornell University)|Aug 23, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用 62

一句话总结

论文介绍了 Non-Targeted JSMA (NT-JSMA) 和 Maximal JSMA (M-JSMA) 作为 Jacobian-based Saliency Map Attack 的灵活变体，取消对固定目标类别或扰动方向的需求，并展示它们在 MNIST、Fashion-MNIST 和 CIFAR-10 数据集上的有效性。

ABSTRACT

The Jacobian-based Saliency Map Attack is a family of adversarial attack methods for fooling classification models, such as deep neural networks for image classification tasks. By saturating a few pixels in a given image to their maximum or minimum values, JSMA can cause the model to misclassify the resulting adversarial image as a specified erroneous target class. We propose two variants of JSMA, one which removes the requirement to specify a target class, and another that additionally does not need to specify whether to only increase or decrease pixel intensities. Our experiments highlight the competitive speeds and qualities of these variants when applied to datasets of hand-written digits and natural scenes.

研究动机与目标

• 通过移除指定目标类别和扰动方向的要求，激励并克服原始 JSMA 的局限性。
• 提出 NT-JSMA，以实现无需目标类即可的非目标攻击。
• 提出 M-JSMA，以对所有类别目标和两种扰动方向进行搜索，获取更快、质量更高的对抗样本。
• 在 MNIST、Fashion-MNIST 和 CIFAR-10 上评估所提变体，比较对抗样本的效率和感知相似度。

提出的方法

• 通过引入放宽固定目标类别和扰动方向需求的变体，回顾并扩展 Jacobian-based Saliency Map Attack 框架。
• 定义显著性度量和像素对扰动策略，以识别最大显著性对。
• 引入 NT-JSMA 变体，使真实类别置信度下降（或目标无关策略），而不是提升所选目标置信度。
• 发展 Maximal JSMA (M-JSMA)，同时考虑所有目标类别和两种扰动方向，并增添历史向量以防止振荡。
• 提供一个算法（Algorithm 1），在跨目标中选择最显著的像素对，并在 epsilon 邻域内应用裁剪扰动。
• 使用三数据集的成功率、L0 与 L2 距离，以及 softmax 熵来评估变体。

实验结果

研究问题

• RQ1 JSMA 是否可以做成目标无关，同时保持攻击效率与感知质量？
• RQ2 移除指定扰动方向的需求是否在多数据集上改善实际攻击性能？
• RQ3 非目标和最大变体在速度（迭代次数）和感知相似度（L2）方面在 MNIST、Fashion-MNIST、CIFAR-10 上的比较？
• RQ4 对抗蒸馏防御等常见神经网络防御，所提出的变体是否鲁棒？

主要发现

• M-JSMA 通常在速度（更少的像素变化）方面与 JSMA 变体相当或更好，同时也兼容所有目标类别和扰动方向。
• NT-JSMA 变体在不需要固定目标类别的好处下，提供有竞争力的攻击性能，收敛性或质量的损失只很小。
• 在各数据集上，增加像素强度的版本通常比减少的收敛更快，而减少的版本由于图像背景更暗，常带来更好的感知相似度。
• 像素减少变体（JSMA-F/NT-JSMA-F）往往产生更小的 L2 改动，而基于 Z 的定向变体有时在对抗预测中提供更低的不确定性（更低熵）。
• M-JSMA 在 MNIST、Fashion-MNIST 和 CIFAR-10 上实现了较强的收敛速度和高质量的对抗样本，在类似迭代次数下在感知指标上常常优于其他变体。
• 防御蒸馏（T=100）在很大程度上降低了 F-变体的有效性，而基于 Z 的变体仍可在蒸馏模型上成功，表明对防御的鲁棒性取决于变体。
• 更小的每特征扰动（|θ|=0.1，ε=0.5）在增加迭代次数的代价下减少感知距离，M-JSMA 维持有利性能。