[论文解读] Frequency-driven Imperceptible Adversarial Attack on Semantic Similarity

Cheng Luo, Qinliang Lin+4 more|arXiv (Cornell University)|Mar 10, 2022

Adversarial Robustness in Machine Learning被引用 9

一句话总结

本文提出SSAH，一种基于频率驱动的对抗性攻击方法，通过针对深度特征表示中的语义相似性来生成高度不可察觉的扰动。通过利用低频约束将扰动限制在高频分量中，SSAH在模型和数据集之间实现了卓越的不可察觉性与强迁移性，在CIFAR-10、CIFAR-100、ImageNet-1K以及真实世界在线API上均优于SOTA方法。

ABSTRACT

Current adversarial attack research reveals the vulnerability of learning-based classifiers against carefully crafted perturbations. However, most existing attack methods have inherent limitations in cross-dataset generalization as they rely on a classification layer with a closed set of categories. Furthermore, the perturbations generated by these methods may appear in regions easily perceptible to the human visual system (HVS). To circumvent the former problem, we propose a novel algorithm that attacks semantic similarity on feature representations. In this way, we are able to fool classifiers without limiting attacks to a specific dataset. For imperceptibility, we introduce the low-frequency constraint to limit perturbations within high-frequency components, ensuring perceptual similarity between adversarial examples and originals. Extensive experiments on three datasets (CIFAR-10, CIFAR-100, and ImageNet-1K) and three public online platforms indicate that our attack can yield misleading and transferable adversarial examples across architectures and datasets. Additionally, visualization results and quantitative performance (in terms of four different metrics) show that the proposed algorithm generates more imperceptible perturbations than the state-of-the-art methods. Code is made available at.

研究动机与目标

• 解决现有对抗性攻击方法依赖封闭集分类层、难以在不同数据集间泛化的问题。
• 通过将扰动限制在人眼视觉系统（HVS）不敏感的高频分量中，提升感知不可察觉性。
• 开发一种在目标类别未知的开放集场景下有效的黑盒攻击框架。
• 实现在无需查询访问的情况下，跨多种架构和真实世界在线模型的可迁移对抗性样本。

提出的方法

• 提出一种语义相似性攻击（SSA），通过操纵特征表示，将良性样本从原始类别推开并拉向目标类别，而无需依赖分类层输出。
• 引入低频约束，将对抗性扰动限制在图像的高频分量中，确保与原始图像的感知相似性。
• 将攻击形式化为联合优化问题，同时最小化扰动的ℓ₂和ℓ∞范数，并最小化原始图像与对抗性图像在低频分量之间的差异。
• 应用自步加权（SPW）动态调整优化过程中语义相似性损失的重要性，提升收敛速度与扰动质量。
• 通过频域分析测量感知差异，以图像低频分量作为感知失真的指标。
• 利用t-SNE可视化与特征空间轨迹分析，验证攻击在操纵特征表示向目标类别迁移方面的有效性。

Figure 1 : Comparison of the adversarial examples and perturbations generated by three different attack methods: (a) C $\&$ W, (b) Our SSA (semantic similarity attack), and (c) Our SSAH (semantic similarity attack on high-frequency components). For the visualization, we regularize the perturbation b

实验结果

研究问题

• RQ1 能否设计一种对抗性攻击方法，在目标类别不属于模型已知类别集合的开放集场景下依然有效？
• RQ2 如何将对抗性扰动限制在高频分量中，以提升感知不可察觉性，同时不牺牲攻击成功率？
• RQ3 与标准ℓp-范数约束相比，所提出的低频约束在多大程度上提升了对抗性样本的感知质量？
• RQ4 所提出方法生成的对抗性样本在不同深度学习架构和真实世界在线推理平台之间的可迁移性如何？

主要发现

• 在ImageNet-1K上，SSAH的低频（LF）度量为0.06，显著低于SSA（1.05）和无SPW的SSA（1.40），证明了低频约束在减少可察觉失真方面的有效性。
• SSAH在腾讯云在线模型上实现了37.98%的攻击成功率，优于无查询访问条件下的C&W（21.71%）、AdvDrop（16.26%）和PerC-AL（18.61%）。
• 消融实验表明，自步加权（SPW）相比无SPW的变体，将Fréchet Inception Distance（FID）降低了1.20个点，提升了图像质量。
• t-SNE可视化显示，SSAH成功地将对抗性样本在特征空间中从原始类别引导至目标类别，其轨迹比C&W更稳定且更具方向性。
• 扰动可视化结果表明，SSAH将变化集中在物体边缘与纹理区域——这些区域对HVS不敏感——同时最小化在平滑背景上的变化。
• SSAH在不可察觉性（以FID、LF及感知度量衡量）与跨模型和数据集的可迁移性方面均达到SOTA性能。

Figure 2 : An overview of proposed SSAH. Left: Semantics Similarity Attack; Right: Low-frequency Constraint. $f(\cdot)$ is the mapping from an image to its embedding in representation space. $\phi(\cdot)$ is a shallow network that decomposes an image into different frequency components and reconstru