[论文解读] CAAD 2018: Generating Transferable Adversarial Examples

Yash Sharma, Tiendung Le+1 more|arXiv (Cornell University)|Sep 29, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用 4

一句话总结

该论文在CAAD 2018竞赛中提出了一种最先进的方法，用于生成可迁移的对抗性样本，通过空间梯度平滑和随机化预处理，在未知模型之间实现高迁移性。作者在非目标攻击和目标攻击两个赛道均获得第一名，证明了基于梯度的优化结合随机化与平滑处理，能显著提升迁移性，同时满足严格的计算约束。

ABSTRACT

Deep neural networks (DNNs) are vulnerable to adversarial examples, perturbations carefully crafted to fool the targeted DNN, in both the non-targeted and targeted case. In the non-targeted case, the attacker simply aims to induce misclassification. In the targeted case, the attacker aims to induce classification to a specified target class. In addition, it has been observed that strong adversarial examples can transfer to unknown models, yielding a serious security concern. The NIPS 2017 competition was organized to accelerate research in adversarial attacks and defenses, taking place in the realistic setting where submitted adversarial attacks attempt to transfer to submitted defenses. The CAAD 2018 competition took place with nearly identical rules to the NIPS 2017 one. Given the requirement that the NIPS 2017 submissions were to be open-sourced, participants in the CAAD 2018 competition were able to directly build upon previous solutions, and thus improve the state-of-the-art in this setting. Our team participated in the CAAD 2018 competition, and won 1st place in both attack subtracks, non-targeted and targeted adversarial attacks, and 3rd place in defense. We outline our solutions and development results in this article. We hope our results can inform researchers in both generating and defending against adversarial examples.

研究动机与目标

• 开发高度可迁移的对抗性样本，使其在真实、黑盒环境下成功欺骗未知模型。
• 在严格计算与扰动约束下，改进先前的对抗攻击方法，提升迁移性。
• 设计一种鲁棒性防御机制，在保持高干净准确率的同时抵抗强对抗攻击。
• 探究梯度平滑与随机化在提升迁移性与鲁棒性方面的有效性。
• 提交一种对强、此前未见的攻击（尤其是利用模型特异性漏洞的攻击）具有良好表现的防御方案。

提出的方法

• 非目标攻击使用训练好的对抗性变换网络（ATN）进行离线优化，规避实时计算约束。
• 针对目标攻击，该方法结合基于梯度的优化与随机化预处理以增强迁移性，但初始版本因速度过慢而无法在时限内完成。
• 引入空间梯度平滑作为高效替代方案，在满足计算约束的同时保持高迁移性。
• 最终方案结合梯度平滑与迭代随机化，进一步在时限内提升迁移性。
• 防御方法采用“2 MSB”技术，仅将输入图像的两个最高有效位传递给一组对抗性训练的模型，以降低对扰动的敏感性。
• 通过添加轻微的伯努利噪声以及类别补丁机制，进一步提升鲁棒性，避免当最高预测类别为“拼图”类时发生误分类。

实验结果

研究问题

• RQ1 在严格时间约束下，能否利用梯度平滑高效生成可迁移的对抗性样本？
• RQ2 在目标攻击中，将随机化与基于梯度的优化结合，对迁移性有何影响？
• RQ3 基于比特级输入操作与噪声注入的防御机制，在多大程度上能提升对强自适应攻击的鲁棒性？
• RQ4 为何梯度平滑在未明确为此目的设计的情况下，仍表现出极强的迁移性？
• RQ5 能否通过整合对特定已知攻击（如ATN）行为的了解，使防御机制对特定攻击更具鲁棒性？

主要发现

• 梯度平滑与随机化的结合在非目标攻击与目标攻击子赛道中均获得第一名，证明其具有卓越的迁移性。
• “2 MSB”防御在加入噪声与类别补丁后，对ATN攻击实现了89.3%的干净准确率与42.0%的鲁棒性。
• “Noise + Avoid”防御变体将对ATN攻击的鲁棒性从2.0%提升至42.0%，表明利用模型特异性知识可显著增强防御性能。
• 仅使用梯度平滑的迁移性优于纯随机化方法，且在白盒与迁移设置中，“Grad + Rand”显著优于“Rand”。
• 尽管“Dropout”防御在干净数据上的准确率较低且更具攻击性，但其在ATN攻击下的表现优于“2 MSB”，凸显了干净准确率与鲁棒性之间的权衡。
• 最终防御方案“2 MSB”结合噪声与避免机制，因其在干净准确率与鲁棒性之间的良好平衡，尤其针对本团队自身攻击，被选为提交方案。