[论文解读] Attacking the Madry Defense Model with $L_1$-based Adversarial Examples

Yash Sharma, Pin‐Yu Chen|arXiv (Cornell University)|Oct 30, 2017

Adversarial Robustness in Machine Learning参考文献 9被引用 75

一句话总结

该论文显示基于L1的弹性网对抗样本（EAD）能转移到 Madry 防御模型，并且在有目标的转移中往往优于基于 L2/L∞ 的 PGD/I-FGM，同时在视觉失真方面通常小于相应的 L∞ 基攻击。

ABSTRACT

The Madry Lab recently hosted a competition designed to test the robustness of their adversarially trained MNIST model. Attacks were constrained to perturb each pixel of the input image by a scaled maximal $L_\infty$ distortion $ε$ = 0.3. This discourages the use of attacks which are not optimized on the $L_\infty$ distortion metric. Our experimental results demonstrate that by relaxing the $L_\infty$ constraint of the competition, the elastic-net attack to deep neural networks (EAD) can generate transferable adversarial examples which, despite their high average $L_\infty$ distortion, have minimal visual distortion. These results call into question the use of $L_\infty$ as a sole measure for visual distortion, and further demonstrate the power of EAD at generating robust adversarial examples.

研究动机与目标

• 评估超出 Madry MNIST 挑战中使用的 L∞ 约束的对抗攻击的可转移性。
• 在放宽的失真预算下，将 EAD（L1+L2 正则化）与 PGD 与 I-FGM（基于 L∞）进行比较。
• 评估来自未被防御的模型与集成模型的定向与非定向转移性。
• 分析转移对抗样本在视觉失真与失真度量（L1、L2、L∞）之间的关系。

提出的方法

• 使用在 MNIST 上对 PGD ε = 0.3 进行训练的 Madry Defense 模型。
• 使用 EAD（弹性网：L1 + L2）生成对抗样本并调整 beta 以改变对 L1/L2 的强调程度。
• 在不同的 ε 和 κ 设置下与 PGD 和 I-FGM 进行比较。
• 评估来自未防御模型和一个三模型集成的定向与非定向转移性。
• 使用 L1/L2/L∞ 范数分析视觉失真并提供定性可视化。

实验结果

研究问题

• RQ1 L1 基的 EAD 对抗样本是否能像或比基于 L∞ 的 PGD/I-FGM 更有效地转移到 Madry Defense 模型？
• RQ2 L1 与 L2 的失真如何影响转移性和感知视觉失真，相对 L∞ 约束有何不同？
• RQ3 使用未防御模型的集成是否能增强 EAD 攻击的转移性？
• RQ4 针对定向与非定向攻击，攻击成功率与失真类型（L1/L2/L∞）之间有哪些权衡？

主要发现

攻击方法	置信度	定向 ASR (%)	定向 L1	定向 L2	定向 L∞	非定向 ASR (%)	非定向 L1	非定向 L2	非定向 L∞
PGD	无	68.5	188.3	8.947	0.6	99.9	270.5	13.27	0.8
I-FGM	无	75.1	144.5	7.406	0.915	99.8	199.4	10.66	0.9
C&W	10	1.1	34.15	2.482	0.548	4.9	23.23	1.702	0.424
C&W	30	69.4	68.14	4.864	0.871	71.3	51.04	3.698	0.756
C&W	50	92.9	117.45	8.041	0.987	99.1	78.65	5.598	0.937
C&W	70	34.8	169.7	10.88	0.994	99	119.4	8.097	0.99
EAD	10	27.4	25.79	3.209	0.876	39.9	19.19	2.636	0.8
EAD	30	85.8	49.64	5.179	0.995	94.5	34.28	4.192	0.971
EAD	50	98.5	93.46	7.711	1	99.6	57.68	5.839	0.999
EAD	70	67.2	148.9	10.36	1	99.8	90.84	7.719	1

• 在 κ 设置下，EAD 在定向与非定向两种情况下均优于 C&W。
• 在定向攻击中，当 κ 处于最佳值（例如 50）时，EAD 具有更低的 L1/L2 失真且转移性高于 PGD/I-FGM。
• β = 0.01 的 EAD 往往在降低 L1 失真的同时提供最高的 ASR，尤其在较低 κ 下。
• PGD/I-FGM 虽可达到高 ASR，但会带来较大的 L1/L2 失真，导致肉眼可感知的扰动。
• 视觉对比表明，即使与 PGD 的平均 L∞ 失真相近，EAD 也能在视觉质量上保持良好。
• 结果表明仅用 L∞ 难以充分表征视觉失真与对抗子空间。