[论文解读] Boosting Adversarial Transferability by Block Shuffle and Rotation

Kunyu Wang, Xuanran He+2 more|arXiv (Cornell University)|Aug 20, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种新型输入转换方法——块混洗与旋转（BSR），通过随机块混洗和旋转破坏图像结构，提升对抗样本的迁移性，实现模型间一致的注意力热力图。BSR在ImageNet上实现了最先进（SOTA）的迁移性能，攻击成功率最高提升6.0%，尤其在对抗训练和防御模型上表现优异。

ABSTRACT

Adversarial examples mislead deep neural networks with imperceptible perturbations and have brought significant threats to deep learning. An important aspect is their transferability, which refers to their ability to deceive other models, thus enabling attacks in the black-box setting. Though various methods have been proposed to boost transferability, the performance still falls short compared with white-box attacks. In this work, we observe that existing input transformation based attacks, one of the mainstream transfer-based attacks, result in different attention heatmaps on various models, which might limit the transferability. We also find that breaking the intrinsic relation of the image can disrupt the attention heatmap of the original image. Based on this finding, we propose a novel input transformation based attack called block shuffle and rotation (BSR). Specifically, BSR splits the input image into several blocks, then randomly shuffles and rotates these blocks to construct a set of new images for gradient calculation. Empirical evaluations on the ImageNet dataset demonstrate that BSR could achieve significantly better transferability than the existing input transformation based methods under single-model and ensemble-model settings. Combining BSR with the current input transformation method can further improve the transferability, which significantly outperforms the state-of-the-art methods. Code is available at https://github.com/Trustworthy-AI-Group/BSR

研究动机与目标

• 为解决黑箱攻击中对抗样本迁移性有限的问题，特别是由于不同模型间注意力热力图不一致所致。
• 探究破坏图像内在空间结构是否能稳定注意力热力图并提升迁移性。
• 开发一种基于输入转换的新攻击方法，通过在多个变换图像上优化对抗扰动，以减少注意力图的方差。
• 评估BSR在强防御机制（包括认证防御和去噪防御）下的有效性，以证明其鲁棒性与真实世界威胁潜力。

提出的方法

• BSR将输入图像划分为固定数量的非重叠块，以破坏空间连贯性。
• 每个块在预设范围内随机混洗并旋转特定角度，生成多个变换后的图像。
• 通过在N个此类变换图像上的平均梯度来优化对抗扰动，以稳定训练并减少方差。
• 该方法对源模型应用随机变换（混洗与旋转）以扰乱注意力图，同时保留语义内容，实现高效迁移。
• BSR与现有基于迁移的攻击兼容，可与TI-DIM或SIM等方法结合，进一步提升性能。
• 块数（n）、变换图像数（N）和旋转角度范围（τ）为通过消融实验调优的超参数，以在破坏性与优化稳定性之间取得平衡。

Raw Image

实验结果

研究问题

• RQ1 通过块混洗与旋转破坏图像内在空间结构，是否能实现不同模型间更一致的注意力热力图？
• RQ2 在具有不同注意力图的多个变换图像上优化对抗扰动，是否相比标准输入变换方法能提升迁移性？
• RQ3 块数、变换图像数和旋转角度范围等超参数如何影响BSR的性能？
• RQ4 BSR能否在强防御机制（包括对抗训练和认证防御）下保持高迁移性？
• RQ5 在单模型与集成设置下，BSR与最先进基于迁移的攻击相比，攻击成功率如何？

主要发现

• BSR在对抗训练的ImageNet模型上实现了98.4%的平均攻击成功率，较Admix-TI-DIM至少提升6.0%。
• 与尺度不变方法（SIM）结合后，BSR-SI-TI-DIM实现94.1%的攻击成功率，较Admix-TI-DIM平均提升5.0%。
• 在认证防御RS和强大去噪器NRP上，BSR-SI-TI-DIM分别实现83.9%和84.2%的成功率，较Admix-TI-DIM分别提升11.3%和3.8%。
• 消融实验表明，当n=2个块、N=20张变换图像、τ=24°旋转范围时性能最优，兼顾破坏性与优化稳定性。
• 仅使用块混洗（BS）或块旋转（BR）即可提升迁移性，但BSR——结合两者——达到最高性能，证实其协同效应。
• 该方法显著降低了不同模型间注意力热力图的方差，验证了‘一致的注意力模式可增强迁移性’的假设。

Shuffled Image