[论文解读] Boosting Adversarial Transferability via Fusing Logits of Top-1 Decomposed Feature

Juanjuan Weng, Zhiming Luo+3 more|arXiv (Cornell University)|May 2, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种基于SVD的新型特征级攻击方法，通过融合顶层奇异值分解后的特征与原始logits，提升了对抗样本的迁移能力。该方法利用中间层特征中最具泛化性和注意力敏感的成分，无需额外的重要性估计计算，在多种模型和防御机制下显著提升了攻击成功率，实现了极低训练成本下的最先进性能。

ABSTRACT

Recent research has shown that Deep Neural Networks (DNNs) are highly vulnerable to adversarial samples, which are highly transferable and can be used to attack other unknown black-box models. To improve the transferability of adversarial samples, several feature-based adversarial attack methods have been proposed to disrupt neuron activation in the middle layers. However, current state-of-the-art feature-based attack methods typically require additional computation costs for estimating the importance of neurons. To address this challenge, we propose a Singular Value Decomposition (SVD)-based feature-level attack method. Our approach is inspired by the discovery that eigenvectors associated with the larger singular values decomposed from the middle layer features exhibit superior generalization and attention properties. Specifically, we conduct the attack by retaining the decomposed Top-1 singular value-associated feature for computing the output logits, which are then combined with the original logits to optimize adversarial examples. Our extensive experimental results verify the effectiveness of our proposed method, which can be easily integrated into various baselines to significantly enhance the transferability of adversarial samples for disturbing normally trained CNNs and advanced defense strategies. The source code of this study is available at https://github.com/WJJLL/SVD-SSA

研究动机与目标

• 在不依赖昂贵重要性估计的前提下，提升黑盒攻击设置下对抗样本的迁移能力。
• 探究中间特征的Top-1奇异值分解（SVD）是否能增强对抗鲁棒性与泛化能力。
• 开发一种轻量化、高效的攻击方法，将SVD提取的特征整合进损失优化过程。
• 在标准模型与对抗训练模型（包括强防御机制）上验证该方法的有效性。
• 证明最大奇异值分量捕获了具有泛化性且与注意力相关的关键特征，从而提升跨模型迁移能力。

提出的方法

• 该方法对蒸馏模型的中间特征图应用奇异值分解（SVD），提取Top-1奇异值及其对应的左、右奇异向量。
• 仅使用Top-1 SVD分量构建修改后的特征表示，并据此计算输出logits。
• 在对抗样本优化过程中，通过可学习参数β将SVD生成的logits与原始模型logits进行融合。
• 攻击目标函数结合标准交叉熵损失与原始logits和SVD-logits的加权和，以指导扰动生成。
• 该方法通过直接使用主导SVD分量避免了昂贵的基于梯度的重要性估计，而该分量本身已捕获最具泛化性与注意力相关的关键特征。
• 该方法即插即用，兼容现有攻击基线，且仅需极少额外计算。

实验结果

研究问题

• RQ1 中间特征的Top-1奇异值分量是否能提升对抗样本在不同模型间的迁移能力？
• RQ2 将SVD生成的logits与原始logits融合，是否能在不增加计算成本的前提下提升攻击成功率？
• RQ3 与现有基于特征的攻击方法相比，该方法在迁移能力与效率方面表现如何？
• RQ4 在攻击性能方面，原始logits与SVD-logits之间的最优权衡比例如何？
• RQ5 基于SVD的特征融合方法是否能有效干扰多种模型中的注意力机制？

主要发现

• 在Inception-V3作为源模型时，该方法在未防御模型上实现了99.8%的攻击成功率，优于SOTA方法FIA（98.3%）与NAA（98.1%）。
• 在对抗训练模型上，该方法在Inc-v3-adv上达到64.2%的成功率，在Inc-v3-ens3上达到61.2%，分别优于FIA（53.3%与36.1%）与NAA（61.5%与50.5%）。
• logits融合的最优超参数β约为0.5，此时攻击成功率达到峰值，表明原始与SVD特征的平衡使用最为有效。
• 使用Top-1 SVD特征可显著提升迁移能力，但当使用Top-k特征（k > 2）时性能下降，表明仅主导分量具有实际增益。
• 该方法在2080Ti GPU上仅需1029秒训练时间，显著优于FIA（7081秒）、NAA（7163秒）与FDA（1421秒），效率更高。
• 通过Eigen-CAM可视化证实，使用SVD生成的对抗样本能有效将注意力从真实物体转移到无关区域，表明其在特征层面具有更强的干扰能力。