[论文解读] Adversarial Examples on Segmentation Models Can be Easy to Transfer

Jindong Gu, Hengshuang Zhao+2 more|arXiv (Cornell University)|Nov 22, 2021

Adversarial Robustness in Machine Learning参考文献 45被引用 5

一句话总结

本文表明，语义分割模型的对抗性样本可实现高度可迁移性，这与先前假设相反。通过引入动态缩放——在攻击迭代过程中随机调整输入和掩码的尺寸——该方法在不发生过拟合的情况下，实现了跨模型和尺度的强可迁移性，使针对分割模型的黑盒攻击成为可行且高效的方法。

ABSTRACT

Deep neural network-based image classification can be misled by adversarial examples with small and quasi-imperceptible perturbations. Furthermore, the adversarial examples created on one classification model can also fool another different model. The transferability of the adversarial examples has recently attracted a growing interest since it makes black-box attacks on classification models feasible. As an extension of classification, semantic segmentation has also received much attention towards its adversarial robustness. However, the transferability of adversarial examples on segmentation models has not been systematically studied. In this work, we intensively study this topic. First, we explore the overfitting phenomenon of adversarial examples on classification and segmentation models. In contrast to the observation made on classification models that the transferability is limited by overfitting to the source model, we find that the adversarial examples on segmentations do not always overfit the source models. Even when no overfitting is presented, the transferability of adversarial examples is limited. We attribute the limitation to the architectural traits of segmentation models, i.e., multi-scale object recognition. Then, we propose a simple and effective method, dubbed dynamic scaling, to overcome the limitation. The high transferability achieved by our method shows that, in contrast to the observations in previous work, adversarial examples on a segmentation model can be easy to transfer to other segmentation models. Our analysis and proposals are supported by extensive experiments.

研究动机与目标

• 探究语义分割模型上对抗性样本的可迁移性，挑战其本质上不可迁移的假设。
• 分析为何分割模型上的对抗性样本不会像图像分类中那样总是过拟合源模型。
• 识别分割模型中的架构特性（尤其是多尺度特征提取）作为限制可迁移性的关键因素。
• 提出一种简单但有效的增强分割模型上对抗性样本可迁移性的方法。
• 证明可通过方法使分割模型上的对抗性样本易于迁移，从而实现实用的黑盒攻击。

提出的方法

• 提出一种动态缩放攻击方法，在每次攻击迭代中对输入图像和真实标签掩码应用随机缩放。
• 使用大量攻击迭代（最多10,000次）并结合动态缩放，以防止过拟合并提升可迁移性。
• 在不同主干架构（VGG和ResNet）和模型尺度（50%、75%、100%、多尺度）上应用该方法，以评估其鲁棒性。
• 将动态缩放集成到标准FGSM攻击中，生成可在不同模型间泛化的对抗性样本。
• 对缩放比例（如0.1至0.5）进行消融研究，以确定提升可迁移性的最优扰动多样性。
• 在可迁移性基准测试中，将动态缩放方法与标准FGSM和迭代FGSM（FS）攻击进行对比。

实验结果

研究问题

• RQ1 分割模型上的对抗性样本是否像图像分类中那样会过拟合源模型？
• RQ2 为何即使在不过拟合的情况下，分割模型上对抗性样本的可迁移性仍受限制？
• RQ3 架构特性（如多尺度特征提取）是否可能阻碍对抗性样本的可迁移性？
• RQ4 能否设计一种简单方法，显著提升分割模型上对抗性样本的可迁移性？
• RQ5 能否使对抗性样本在不同模型、不同尺度和防御机制之间实现高度可迁移？

主要发现

• 使用VGG主干的分割模型上的对抗性样本，即使在10,000次攻击迭代后也未过拟合源模型，而使用ResNet主干的模型则存在明显过拟合。
• 动态缩放方法可有效防止过拟合并实现高可迁移性，即使在过拟合严重的ResNet模型上也表现良好。
• 在FCN8s-VGG16上，动态缩放方法将目标模型的mIoU从50.74（FS攻击）降低至10.40（50%尺度），显示出显著改进。
• 在PSPNet-Res50上，动态缩放方法将mIoU从64.0（FS）降低至21.85（50%尺度），证明了其在跨尺度上的强可迁移性。
• 该方法在多尺度和对抗性训练模型上均保持高可迁移性，mIoU值分别为0.52和2.72，优于标准攻击方法。
• 缩放比例在0.1至0.5之间时显著提升可迁移性，超过0.5后无进一步增益，表明该范围实现了最优扰动多样性。