[论文解读] Efficient Project Gradient Descent for Ensemble Adversarial Attack

Fanyou Wu, Rado Gazo+2 more|arXiv (Cornell University)|Jun 7, 2019

Adversarial Robustness in Machine Learning参考文献 18被引用 4

一句话总结

本文提出高效投影梯度下降（EPGD），一种用于集成模型目标对抗攻击的增强PGD方法，该方法在每次迭代中针对每个输入动态调整步长和集成权重。通过自适应优化搜索方向和扰动幅度，EPGD在保持高效率的同时，生成的扰动比标准PGD更小，最终在IJCAI19目标对抗攻击竞赛中获得第一名。

ABSTRACT

Recent advances show that deep neural networks are not robust to deliberately crafted adversarial examples which many are generated by adding human imperceptible perturbation to clear input. Consider $l_2$ norms attacks, Project Gradient Descent (PGD) and the Carlini and Wagner (C\&W) attacks are the two main methods, where PGD control max perturbation for adversarial examples while C\&W approach treats perturbation as a regularization term optimized it with loss function together. If we carefully set parameters for any individual input, both methods become similar. In general, PGD attacks perform faster but obtains larger perturbation to find adversarial examples than the C\&W when fixing the parameters for all inputs. In this report, we propose an efficient modified PGD method for attacking ensemble models by automatically changing ensemble weights and step size per iteration per input. This method generates smaller perturbation adversarial examples than PGD method while remains efficient as compared to C\&W method. Our method won the first place in IJCAI19 Targeted Adversarial Attack competition.

研究动机与目标

• 开发一种更高效、更有效的集成深度神经网络对抗攻击方法。
• 在保持攻击成功率的前提下，减小对抗样本中的扰动幅度。
• 通过在每次输入和迭代中动态调整步长和集成权重，改进标准投影梯度下降（PGD）方法。
• 在时间约束下，实现IJCAI19目标对抗攻击竞赛中的卓越表现，特别是最小化扰动大小。
• 提供一个稳健且可直接实现的框架，用于在多种模型和图像变换下生成低噪声对抗样本。

提出的方法

• EPGD通过在每次输入和迭代中引入自适应步长和动态集成加权，改进标准PGD，从而优化搜索方向并加快收敛速度。
• 该方法采用分段式策略，从较小的扰动参数开始，并逐步增加允许的最大扰动，以在效率和降噪之间取得平衡。
• 基于模型置信度和梯度信息，对每个输入自动调整集成权重，以增强攻击效果。
• 采用一种新颖的图像映射函数，将浮点数对抗图像转换为整数像素值，最大限度减少失真并保持对抗特性。
• 通过PIL.Image.BILINEAR实现双线性插值，将图像一致地缩放至299×299，确保与评估模型的兼容性，并避免TensorFlow默认缩放行为带来的差异。
• 该方法在TensorFlow 1.14中实现，以确保与官方评估模型（部署于TensorFlow）的兼容性，并避免后续版本中出现的性能问题。

实验结果

研究问题

• RQ1 自适应步长和动态集成加权能否提升基于PGD的集成模型对抗攻击的效率与鲁棒性？
• RQ2 如何在保持高攻击成功率的前提下，生成扰动幅度更小的对抗样本？
• RQ3 图像预处理和缩放方法对不同深度学习框架中对抗样本的性能与一致性有何影响？
• RQ4 图像映射函数的选择（如四舍五入与向下取整）在竞赛环境中对最终扰动大小和攻击成功率有何影响？
• RQ5 结合自适应参数与精心设计的实现选择的混合方法，能否在扰动大小和计算效率两方面超越固定参数的PGD和C&W风格攻击？

主要发现

• EPGD通过生成显著更小扰动的对抗样本，在IJCAI19目标对抗攻击竞赛中夺得第一名。
• 该方法在保持高攻击成功率的同时，相比基线PGD显著降低了平均扰动大小，展示了在目标攻击设置下的更高效率。
• 自适应步长和动态集成加权在不牺牲攻击速度或成功率的前提下，对最小化扰动幅度起到了关键作用。
• 使用PIL.Image.BILINEAR进行缩放确保了图像变换的一致性，避免了1.14版本之前TensorFlow中缩放行为不一致导致的性能下降。
• 最终在TensorFlow 1.14中的实现，在与官方模型的兼容性与计算性能之间达到了最佳平衡，优于PyTorch及后续TensorFlow版本在此场景下的表现。
• 所提出的图像映射函数通过四舍五入至最近整数并保持与原始图像的接近性，优于向下取整和标准四舍五入操作，在对抗样本质量方面表现更优。