[论文解读] Measuring the Transferability of Adversarial Examples

Deyan Petrov, Timothy M. Hospedales|arXiv (Cornell University)|Jul 14, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用 15

一句话总结

本文通过使用强参数优化的攻击方法、L-infinity裁剪和SSIM衡量感知保真度，对VGG与Inception模型之间的对抗样本可迁移性进行了系统评估。研究发现，VGG模型（尤其是集成模型）的可迁移性优于Inception模型，且SSIM在衡量视觉质量方面优于L-infinity，为攻击评估提供了更公平的基准。

ABSTRACT

Adversarial examples are of wide concern due to their impact on the reliability of contemporary machine learning systems. Effective adversarial examples are mostly found via white-box attacks. However, in some cases they can be transferred across models, thus enabling them to attack black-box models. In this work we evaluate the transferability of three adversarial attacks - the Fast Gradient Sign Method, the Basic Iterative Method, and the Carlini & Wagner method, across two classes of models - the VGG class(using VGG16, VGG19 and an ensemble of VGG16 and VGG19), and the Inception class(Inception V3, Xception, Inception Resnet V2, and an ensemble of the three). We also outline the problems with the assessment of transferability in the current body of research and attempt to amend them by picking specific "strong" parameters for the attacks, and by using a L-Infinity clipping technique and the SSIM metric for the final evaluation of the attack transferability.

研究动机与目标

• 为解决先前研究中因参数过拟合和感知度量不佳导致的对抗迁移性评估不一致与偏差问题。
• 在强参数设置下，评估FGSM、I-FGSM和C&W攻击在VGG与Inception模型之间的可迁移性，且参数设置非感知优化。
• 通过使用L-infinity裁剪和SSIM衡量视觉扰动，减少对视觉直觉的依赖，提升评估的公平性。
• 确定模型集成是否能提升不同攻击类型下的对抗迁移性。
• 为比较对抗攻击迁移性提供更系统化、可量化的基准。

提出的方法

• 作者使用强非目标对抗攻击（FGSM、I-FGSM、C&W），并优化参数以最大化源模型上的误分类率。
• 应用L-infinity裁剪控制扰动幅度，生成具有稳定视觉失真水平的对抗样本。
• 通过计算原始图像与对抗图像之间的SSIM，衡量感知相似性，提供与人类感知对齐的评估指标。
• 通过评估对抗样本在不同架构目标模型上的成功率来衡量可迁移性。
• 评估涵盖五种标准ImageNet模型（VGG16、VGG19、Inception V3、Xception、Inception ResNet V2）及两个集成模型。
• 通过SSIM、L-infinity和Inception Score分析结果，比较视觉质量和攻击有效性。

实验结果

研究问题

• RQ1 强参数设置且非感知优化的攻击参数是否能带来更可靠、一致的可迁移性评估？
• RQ2 SSIM与L-infinity相比，在衡量对抗样本感知质量方面表现如何？
• RQ3 在不同对抗攻击下，VGG或Inception架构中哪种模型表现出更高的可迁移性？
• RQ4 模型集成是否能提升不同攻击类型和参数设置下的对抗可迁移性？
• RQ5 标准化评估框架是否能减少偏差并提升可迁移性基准评估的公平性？

主要发现

• VGG-ensemble模型在所有攻击中可迁移性最高，其次为VGG19和VGG16，而Inception模型表现出较低的可迁移性。
• 对于FGSM攻击，VGG-ensemble在其他VGG模型上的成功率超过90%，达到最高可迁移性。
• SSIM是评估对抗图像质量的更可靠指标，因为Inception Score与感知保真度无显著相关性。
• L-infinity与SSIM的结果在各类攻击中具有一致性，但SSIM能揭示更细微的性能差异，尤其在高扰动情况下。
• 对Inception模型进行集成并未提升可迁移性，某些情况下（如C&W攻击LR=7）集成模型表现甚至劣于单个模型。
• C&W攻击LR=7在集成模型上表现最差，表明集成平均无法增强对强攻击的鲁棒性。