[论文解读] Decision-based Black-box Attack Against Vision Transformers via Patch-wise Adversarial Removal

Yucheng Shi, Yahong Han+2 more|arXiv (Cornell University)|Dec 6, 2021

Adversarial Robustness in Machine Learning被引用 13

一句话总结

该论文提出了一种基于决策的黑盒攻击方法——逐块对抗噪声移除（Patch-wise Adversarial Removal, PAR），通过基于区域特异性噪声敏感度自适应地逐块移除对抗噪声，显著提升了视觉Transformer（ViTs）的噪声压缩效率。PAR在更少查询次数下实现了远低于基线方法的扰动幅度，且可作为其他攻击的初始化方法，在ViTs和CNN上均能进一步提升效率。

ABSTRACT

Vision transformers (ViTs) have demonstrated impressive performance and stronger adversarial robustness compared to Convolutional Neural Networks (CNNs). On the one hand, ViTs' focus on global interaction between individual patches reduces the local noise sensitivity of images. On the other hand, the neglect of noise sensitivity differences between image regions by existing decision-based attacks further compromises the efficiency of noise compression, especially for ViTs. Therefore, validating the black-box adversarial robustness of ViTs when the target model can only be queried still remains a challenging problem. In this paper, we theoretically analyze the limitations of existing decision-based attacks from the perspective of noise sensitivity difference between regions of the image, and propose a new decision-based black-box attack against ViTs, termed Patch-wise Adversarial Removal (PAR). PAR divides images into patches through a coarse-to-fine search process and compresses the noise on each patch separately. PAR records the noise magnitude and noise sensitivity of each patch and selects the patch with the highest query value for noise compression. In addition, PAR can be used as a noise initialization method for other decision-based attacks to improve the noise compression efficiency on both ViTs and CNNs without introducing additional calculations. Extensive experiments on three datasets demonstrate that PAR achieves a much lower noise magnitude with the same number of queries.

研究动机与目标

• 为解决现有基于决策的黑盒攻击在视觉Transformer（ViTs）上效率低下的问题，这些方法对图像各区域一视同仁，尽管其噪声敏感度存在差异。
• 分析当前攻击方法（如Boundary Attack）在压缩ViTs噪声时的局限性，原因在于其基于块的架构以及整体噪声敏感度较低。
• 设计一种新型基于决策的攻击方法——逐块对抗噪声移除（PAR），通过动态选择并压缩最敏感图像块中的噪声，以提升压缩效率。
• 证明PAR可作为其他基于决策攻击的有效噪声初始化方法，从而在ViTs和CNN上均提升其性能，且无需额外计算开销。

提出的方法

• PAR将输入图像划分为非重叠块，并执行从粗到精的搜索，逐步减小块大小以精细化估计噪声敏感度。
• 它维护两个掩码：一个用于追踪每一块的噪声幅度，另一个用于基于查询反馈估计每一块的噪声敏感度。
• 在每一步中，PAR选择查询值最高的块（表明敏感度高）进行噪声压缩，优先选择噪声移除最可能成功的区域。
• 使用基于决策的优化策略，对选定块迭代执行噪声压缩，过程持续到达到最小块尺寸或攻击成功为止。
• 该方法利用ViTs的结构特性——单个块中的噪声对最终分类影响较小——从而聚焦于高敏感度区域，避免在低敏感度区域进行冗余查询。
• PAR可作为其他基于决策攻击的噪声初始化技术，改善其起始点并提升整体压缩效率。

实验结果

研究问题

• RQ1 为何现有基于决策的黑盒攻击在视觉Transformer上表现不佳，尽管ViTs具有较强的对抗鲁棒性？
• RQ2 ViTs在不同图像区域的噪声敏感度如何变化？这种差异如何被利用以提升攻击效率？
• RQ3 基于块、感知敏感度的噪声移除策略是否能优于在ViTs上对所有区域统一压缩噪声的决策攻击？
• RQ4 当PAR用作噪声初始化方法时，能在多大程度上提升其他基于决策攻击的性能？
• RQ5 PAR的最优最小块尺寸是多少？如何在压缩效率与查询成本之间取得平衡？

主要发现

• 与Boundary Attack相比，PAR在ImageNet-2012上将中位数对抗扰动幅度降低了高达78%，仅用60次查询即达到2.218的L2范数。
• 作为初始化方法使用时，PAR将Boundary Attack在ImageNet-2012上的平均噪声幅度从8.134降低至4.335，在ImageNet-21k上从15.687降低至8.55。
• PAR在相同查询预算下实现了每查询0.673个噪声单位的压缩效率，显著优于Evo（0.035）和Boundary（0.040）。
• 将PAR用作初始化可提升Sign-OPT、SurFree和CAB攻击的性能，在ImageNet-2012上使它们的平均噪声幅度最高降低75%。
• 即使将最小块尺寸设为1，该方法仍保持高效率，尽管查询成本显著增加，表明分辨率与效率之间存在权衡。
• 时间成本分析显示，PAR每查询耗时仅0.037秒，且在用作其他攻击初始化时，尽管额外计算极少，仍能显著提升其整体压缩效率。