[论文解读] Diffusion Models for Imperceptible and Transferable Adversarial Attack

Jianqi Chen, Hao Chen+4 more|arXiv (Cornell University)|May 14, 2023

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出 DiffAttack，首个利用扩散模型生成难以察觉且高度可迁移的对抗样本的对抗攻击框架。通过在扩散模型的潜在空间中优化扰动，并利用其生成能力和隐式判别能力，该方法在多种模型和防御机制下均实现了高攻击成功率，同时保持了低感知度，相较于现有方法在可迁移性和人类难以察觉性方面表现更优。

ABSTRACT

Many existing adversarial attacks generate $L_p$-norm perturbations on image RGB space. Despite some achievements in transferability and attack success rate, the crafted adversarial examples are easily perceived by human eyes. Towards visual imperceptibility, some recent works explore unrestricted attacks without $L_p$-norm constraints, yet lacking transferability of attacking black-box models. In this work, we propose a novel imperceptible and transferable attack by leveraging both the generative and discriminative power of diffusion models. Specifically, instead of direct manipulation in pixel space, we craft perturbations in the latent space of diffusion models. Combined with well-designed content-preserving structures, we can generate human-insensitive perturbations embedded with semantic clues. For better transferability, we further "deceive" the diffusion model which can be viewed as an implicit recognition surrogate, by distracting its attention away from the target regions. To our knowledge, our proposed method, DiffAttack, is the first that introduces diffusion models into the adversarial attack field. Extensive experiments on various model structures, datasets, and defense methods have demonstrated the superiority of our attack over the existing attack methods.

研究动机与目标

• 解决现有 Lp-范数约束攻击产生的视觉明显、高频噪声问题，从而影响人类难以察觉性。
• 克服无约束攻击中难以察觉性与可迁移性之间的权衡，此类方法通常在黑盒模型上缺乏鲁棒性。
• 利用扩散模型的固有特性——自然图像生成能力与隐式分类能力——构建新的攻击范式。
• 开发一种方法，同时提升可迁移性并保持图像内容质量，且不依赖像素空间优化。
• 证明扩散模型可作为隐式替代模型，用于生成对防御模型也有效的可迁移对抗样本。

提出的方法

• 在预训练扩散模型（如 DDIM）的潜在空间中而非像素空间中优化对抗扰动，从而实现更自然、更难以察觉的扰动。
• 引入多损失优化框架，结合：(1) 攻击损失以误导目标模型，(2) 可迁移性损失以对齐不同模型的预测结果，(3) 结构保持损失以维持语义内容。
• 在 DDIM 采样过程中使用引导尺度（guidance scale），以控制扰动注入强度，同时保持图像保真度。
• 采用蒸馏策略，通过干扰扩散模型内部注意力机制，使其忽略目标区域，从而增强可迁移性。
• 在扰动前通过 DDIM 反演重建干净图像的潜在表示，确保结构偏差最小化。
• 利用扩散模型的去噪过程作为隐式防御机制，提升对基于净化的防御方法的鲁棒性。

实验结果

研究问题

• RQ1 扩散模型能否被有效重用于潜在空间扰动，以生成难以察觉的对抗样本？
• RQ2 与像素空间攻击相比，在扩散模型的潜在空间中优化是否能提升可迁移性？
• RQ3 扩散模型的生成能力和隐式判别能力是否能协同增强难以察觉性与可迁移性？
• RQ4 该方法在防御模型上的表现如何，特别是针对采用净化机制的防御模型？
• RQ5 扩散模型内部的去噪过程在多大程度上增强了对防御机制的鲁棒性？

主要发现

• DiffAttack 在 11 个标准模型（不含替代模型）上实现了 74.5% 的平均 top-1 攻击成功率，优于依赖 Lp 约束的基线方法。
• 该方法的 FID 得分为 69.2，表明其感知质量高、人类难以察觉，显著低于基于像素的攻击方法。
• 在防御模型上，DiffAttack 保持了 68.0% 的平均攻击成功率，显著高于缺少扩散模型组件的消融实验（46.9%）。
• 消融实验表明，若移除可迁移性损失，平均攻击成功率降至 66.5%，证实其在跨模型泛化中的关键作用。
• 引导尺度为 2.5 时达到最优——在 Inc-v3 上实现 62.5% 的攻击成功率与 69.2 的 FID，更高值会降低图像质量。
• 采用 20 步 DDIM 采样与 30 次优化迭代，在攻击性能、图像质量与计算成本之间达到最佳平衡。