[论文解读] Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

Nicolas Papernot, Patrick McDaniel+3 more|arXiv (Cornell University)|Nov 13, 2015

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出防御蒸馏（defensive distillation），一种通过平滑模型决策边界来增强深度神经网络对对抗扰动鲁棒性的训练技术。通过使用软标签从教师网络向学生网络迁移知识，该方法降低了用于生成对抗样本的梯度幅度，使MNIST上的攻击成功率从95%降至0.5%以下，CIFAR-10上降至5%以下，同时保持原始准确率不变。

ABSTRACT

Deep learning algorithms have been shown to perform extremely well on many classical machine learning problems. However, recent studies have shown that deep learning, like other machine learning techniques, is vulnerable to adversarial samples: inputs crafted to force a deep neural network (DNN) to provide adversary-selected outputs. Such attacks can seriously undermine the security of the system supported by the DNN, sometimes with devastating consequences. For example, autonomous vehicles can be crashed, illicit or illegal content can bypass content filters, or biometric authentication systems can be manipulated to allow improper access. In this work, we introduce a defensive mechanism called defensive distillation to reduce the effectiveness of adversarial samples on DNNs. We analytically investigate the generalizability and robustness properties granted by the use of defensive distillation when training DNNs. We also empirically study the effectiveness of our defense mechanisms on two DNNs placed in adversarial settings. The study shows that defensive distillation can reduce effectiveness of sample creation from 95% to less than 0.5% on a studied DNN. Such dramatic gains can be explained by the fact that distillation leads gradients used in adversarial sample creation to be reduced by a factor of 10^30. We also find that distillation increases the average minimum number of features that need to be modified to create adversarial samples by about 800% on one of the DNNs we tested.

研究动机与目标

• 解决对抗扰动在安全关键应用中可能误导深度神经网络的日益增长的威胁。
• 开发一种无需改变网络架构且不损害原始准确率的防御机制以增强模型鲁棒性。
• 探究知识蒸馏是否可被重新用于作为对抗样本的一般防御手段。
• 分析蒸馏对梯度敏感性和对抗鲁棒性的理论与实证影响。

提出的方法

• 在训练过程中应用自适应蒸馏，利用预训练教师网络的软标签（温度缩放后的概率）来训练学生网络。
• 蒸馏过程降低了输入空间中梯度的幅度，使微小扰动对模型预测的影响减弱。
• 使用温度参数软化输出概率，以鼓励更平滑的决策边界，降低对输入扰动的敏感性。
• 学生网络被训练以匹配教师网络的软标签，从而获得更具鲁棒性和泛化能力的模型。
• 该防御在训练后应用，无需修改推理过程或模型架构。
• 该方法在标准数据集（MNIST、CIFAR-10）上通过FGSM及其他对抗样本生成技术在对抗攻击条件下进行了评估。

实验结果

研究问题

• RQ1 知识蒸馏能否被重新用作深度神经网络中对抗样本的防御机制？
• RQ2 防御蒸馏如何影响深度神经网络在输入扰动下的梯度幅度与敏感性？
• RQ3 防御蒸馏在多大程度上降低了FGSM等对抗攻击算法的成功率？
• RQ4 防御蒸馏是否在提升鲁棒性的同时保持了原始模型的准确率？
• RQ5 防御蒸馏是否可普遍适用于不同深度神经网络架构与数据集？

主要发现

• 防御蒸馏将MNIST数据集上对抗样本生成的成功率从95%降低至0.5%以下。
• 在CIFAR-10数据集上，攻击成功率降至5%以下，同时保持了原始模型的准确率。
• 该方法使对抗攻击中使用的梯度幅度降低了10^30倍，显著削弱了基于梯度的攻击算法的有效性。
• 在一种测试的深度神经网络上，防御蒸馏使生成对抗样本所需修改的平均最小特征数增加了约800%。
• 即使攻击者知晓模型使用了防御蒸馏，该防御依然有效，因为它不会引入可被利用的模式或侧信道。
• 该技术引入的训练开销极小，且可直接应用于现有深度神经网络，无需修改网络架构。