[论文解读] Enhanced Attacks on Defensively Distilled Deep Neural Networks

Yujia Liu, Weiming Zhang+2 more|arXiv (Cornell University)|Nov 16, 2017

Adversarial Robustness in Machine Learning参考文献 5被引用 4

一句话总结

本文提出了一种新型的 $ε$-邻域攻击，在白盒设置下以高视觉质量与快速生成速度，实现了对防御性蒸馏深度神经网络的 100% 攻击成功率。在此基础上，本文进一步提出了基于区域的黑盒攻击以及利用低温模型的绕过攻击，表明即使仅能访问输出概率，蒸馏网络依然存在漏洞。

ABSTRACT

Deep neural networks (DNNs) have achieved tremendous success in many tasks of machine learning, such as the image classification. Unfortunately, researchers have shown that DNNs are easily attacked by adversarial examples, slightly perturbed images which can mislead DNNs to give incorrect classification results. Such attack has seriously hampered the deployment of DNN systems in areas where security or safety requirements are strict, such as autonomous cars, face recognition, malware detection. Defensive distillation is a mechanism aimed at training a robust DNN which significantly reduces the effectiveness of adversarial examples generation. However, the state-of-the-art attack can be successful on distilled networks with 100% probability. But it is a white-box attack which needs to know the inner information of DNN. Whereas, the black-box scenario is more general. In this paper, we first propose the epsilon-neighborhood attack, which can fool the defensively distilled networks with 100% success rate in the white-box setting, and it is fast to generate adversarial examples with good visual quality. On the basis of this attack, we further propose the region-based attack against defensively distilled DNNs in the black-box setting. And we also perform the bypass attack to indirectly break the distillation defense as a complementary method. The experimental results show that our black-box attacks have a considerable success rate on defensively distilled networks.

研究动机与目标

• 为解决现有针对防御性蒸馏深度神经网络的攻击方法所存在的局限性，即需要完整的白盒访问权限且生成速度较慢。
• 设计一种快速、高质量的白盒攻击，通过 $ε$-邻域约束控制每个像素的扰动。
• 通过仅利用蒸馏网络的最终输出概率向量，实现对蒸馏网络的有效黑盒攻击。
• 提出一种绕过攻击，利用低温蒸馏模型来破坏高温、更安全的模型。
• 证明在实际的黑盒部署场景（如机器学习即服务，MLaaS）中，防御蒸馏无法提供充分的安全保障。

提出的方法

• 提出 $ε$-邻域攻击，通过限制每个像素的最大扰动，确保生成的对抗样本具有不可察觉性与高视觉质量。
• 采用约束优化框架，即使在 $ε = 1$ 的情况下也能实现快速收敛，生成定向对抗样本。
• 引入基于区域的攻击，通过仅查询蒸馏网络的最终输出概率向量，在黑盒环境下运行。
• 采用绕过攻击策略，在小温度（低-$T$）模型上生成对抗样本，并将其迁移至高温（高-$T$）蒸馏模型上。
• 利用低温模型更易被攻击，且对抗样本可在不同蒸馏温度的模型间实现迁移的特性。
• 在 CIFAR-10、ImageNet 和 MNIST 上对 Inception-v3 等多种架构进行验证，结果表明在黑盒条件下仍具有极高的成功率。

实验结果

研究问题

• RQ1 能否设计一种快速且高质量的白盒攻击，通过约束每个像素的扰动来欺骗防御性蒸馏的深度神经网络？
• RQ2 当仅能访问蒸馏网络的最终输出概率时，能否构建有效的黑盒攻击？
• RQ3 在低温蒸馏模型上生成的对抗样本能否成功攻击高温蒸馏模型，从而绕过蒸馏的安全机制？
• RQ4 在实际的黑盒部署场景（如机器学习即服务，MLaaS）中，防御蒸馏在多大程度上失效？
• RQ5 黑盒攻击的成功率如何随不同扰动边界（$\epsilon$）和模型温度变化？

主要发现

• $ε$-邻域攻击在白盒环境下对蒸馏网络实现了 100% 的成功率，且每个像素的扰动低至 $ε = 1$。
• 在 ImageNet 与 Inception-v3 上，该攻击使模型对任意目标类别发生误分类，且最大像素级扰动小于 2。
• 基于区域的黑盒攻击在 $ε$ 固定为 1 时，成功率超过 70%，表明在访问受限条件下依然有效。
• 绕过攻击成功破坏了高温蒸馏模型，通过在低温模型上生成对抗样本实现，即使目标模型无法直接访问也有效。
• 在 MLaaS 环境中，一旦发布低温蒸馏模型，其生成的对抗样本即可用于攻击未来所有高温蒸馏模型，从而破坏长期安全性。
• 所生成的对抗样本在视觉上不可察觉，人类观察者无法将其与原始图像区分开来。