[论文解读] Improving Adversarial Transferability via Neuron Attribution-Based Attacks

Jianping Zhang, Weibin Wu+5 more|arXiv (Cornell University)|Mar 31, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出了一种基于神经元Attribution的攻击（NAA），这是一种新颖的基于特征级迁移的对抗性攻击方法，通过使用更精确的神经元重要性估计（完整神经元Attribution）来提升迁移能力。通过高效近似Attribution并基于神经元对模型输出的贡献进行加权，NAA在多个基准测试中实现了最先进的迁移性能，显著优于现有方法。

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial examples. It is thus imperative to devise effective attack algorithms to identify the deficiencies of DNNs beforehand in security-sensitive applications. To efficiently tackle the black-box setting where the target model's particulars are unknown, feature-level transfer-based attacks propose to contaminate the intermediate feature outputs of local models, and then directly employ the crafted adversarial samples to attack the target model. Due to the transferability of features, feature-level attacks have shown promise in synthesizing more transferable adversarial samples. However, existing feature-level attacks generally employ inaccurate neuron importance estimations, which deteriorates their transferability. To overcome such pitfalls, in this paper, we propose the Neuron Attribution-based Attack (NAA), which conducts feature-level attacks with more accurate neuron importance estimations. Specifically, we first completely attribute a model's output to each neuron in a middle layer. We then derive an approximation scheme of neuron attribution to tremendously reduce the computation overhead. Finally, we weight neurons based on their attribution results and launch feature-level attacks. Extensive experiments confirm the superiority of our approach to the state-of-the-art benchmarks.

研究动机与目标

• 为解决现有基于特征级迁移的攻击因神经元重要性估计不准确而导致的迁移能力有限问题。
• 开发一种更精确的方法，用于测量深度神经网络中间层中神经元的重要性。
• 设计一种神经元Attribution的高效近似方法，以在保持精度的同时降低计算成本。
• 通过在特征级攻击中利用Attributed神经元权重，提升黑盒设置下对抗样本的迁移能力。

提出的方法

• 该方法使用完整神经元Attribution，为中间层中的每个神经元分配其对模型输出的贡献值，确保完整性和准确性。
• 引入一种近似方案，以极大降低完整神经元Attribution的计算成本，从而实现实际部署。
• 将神经元Attribution根据其符号和大小分离为正向和负向贡献。
• 攻击最小化正负Attribution的加权组合，且对两种极性采用相等的权重。
• 对加权特征图进行扰动，以生成在不同模型间保持迁移能力的对抗样本。
• 该方法应用于中间层（例如，Mix4a/Mix5b），以避免对浅层或深层特征的过拟合。

实验结果

研究问题

• RQ1 与现有方法相比，神经元Attribution能否在特征级攻击中提供更准确、更完整的神经元重要性度量？
• RQ2 神经元Attribution的近似对攻击效率和迁移能力有何影响？
• RQ3 在迁移能力方面，网络中的哪一层最适合作为特征级攻击的目标？
• RQ4 在构建可迁移的对抗样本时，正负神经元Attribution的最佳平衡点是什么？
• RQ5 对Attribution值采用不同的变换函数如何影响攻击性能？

主要发现

• NAA在ImageNet基准测试中实现了最先进的迁移能力，显著优于现有基于特征级的攻击方法（如NRDM、FDA和FIA）。
• 攻击中间层（如Mix4a/Mix5b）的迁移能力高于浅层或深层，避免了对源模型特征的过拟合。
• 增加积分步数（n）可提升迁移能力，n=30在性能与计算成本之间提供了良好的权衡。
• 设置γ=1（即对正负Attribution同等对待）可获得最佳攻击成功率，表明两种极性均至关重要。
• 采用线性函数对Attribution值（fp和fn）进行变换可取得最佳性能，表明对高值或低值无偏好性加权。
• 线性变换与平衡的Attribution权重相结合，使NAA在未防御和对抗训练的模型上均实现了最高的平均攻击成功率。