[论文解读] Learning Adversary-Resistant Deep Neural Networks

Qinglong Wang, Wenbo Guo+5 more|arXiv (Cornell University)|Dec 5, 2016

Adversarial Robustness in Machine Learning参考文献 35被引用 30

一句话总结

本文提出了一种新颖的防御机制，通过在深度神经网络（DNN）推理之前集成一种非参数化降维技术——局部线性嵌入（LLE）——作为数据转换模块，从而增强DNN对对抗性攻击的鲁棒性。与依赖‘隐蔽性安全’的先前方法不同，该方法即使在模型架构和训练细节公开的情况下仍能保持强大的抗性，在MNIST、IMDB和恶意软件数据集上均表现出更优的鲁棒性和更高的分类准确率。

ABSTRACT

Deep neural networks (DNNs) have proven to be quite effective in a vast array of machine learning tasks, with recent examples in cyber security and autonomous vehicles. Despite the superior performance of DNNs in these applications, it has been recently shown that these models are susceptible to a particular type of attack that exploits a fundamental flaw in their design. This attack consists of generating particular synthetic examples referred to as adversarial samples. These samples are constructed by slightly manipulating real data-points in order to "fool" the original DNN model, forcing it to mis-classify previously correctly classified samples with high confidence. Addressing this flaw in the model is essential if DNNs are to be used in critical applications such as those in cyber security. Previous work has provided various learning algorithms to enhance the robustness of DNN models, and they all fall into the tactic of "security through obscurity". This means security can be guaranteed only if one can obscure the learning algorithms from adversaries. Once the learning technique is disclosed, DNNs protected by these defense mechanisms are still susceptible to adversarial samples. In this work, we investigate this issue shared across previous research work and propose a generic approach to escalate a DNN's resistance to adversarial samples. More specifically, our approach integrates a data transformation module with a DNN, making it robust even if we reveal the underlying learning algorithm. To demonstrate the generality of our proposed approach and its potential for handling cyber security applications, we evaluate our method and several other existing solutions on datasets publicly available. Our results indicate that our approach typically provides superior classification performance and resistance in comparison with state-of-art solutions.

研究动机与目标

• 解决DNN在恶意软件检测和自动驾驶等安全关键应用中对对抗性样本的严重脆弱性问题。
• 识别现有依赖‘隐蔽性安全’的防御方法的根本缺陷，即一旦防御机制被公开，其防护能力即刻崩溃。
• 开发一种即使在模型和训练过程完全公开的情况下仍能保持鲁棒性的防御机制，从而克服基于隐蔽性的方法的局限性。
• 在多种数据集（包括MNIST、IMDB和大规模恶意软件数据集）上评估所提方法，以证明其泛化能力和性能提升。

提出的方法

• 在DNN分类器之前集成一个局部线性嵌入（LLE）模块作为数据转换层，将输入数据投影到低维非线性表示空间。
• 使用非参数化LLE将输入数据转换到一个对抗性扰动效果减弱的超空间中，从而有效隐藏对抗性子空间。
• 理论上证明，该变换可使攻击者在白盒条件下构造有效对抗性样本的计算复杂度呈指数级增长。
• 通过深度神经网络近似非参数化LLE，以实现在白盒设置下的端到端训练与评估。
• 在转换后的数据上使用标准DNN训练流程，结合反向传播和交叉熵损失，保持与现有训练流水线的兼容性。
• 在多个基准数据集上，基于$l_\infty$、$l_2$和$l_0$范数，评估黑盒与白盒对抗性攻击下的鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种防御机制，使其在模型和训练算法完全公开的情况下依然保持鲁棒性，从而避免依赖‘隐蔽性安全’？
• RQ2 将非参数化降维技术（如LLE）集成到DNN中，如何影响其在不同数据分布下对对抗性攻击的鲁棒性？
• RQ3 与标准DNN及现有防御机制相比，所提出的LLE-DNN方法在真实世界数据集上是否保持或提升了分类准确率？
• RQ4 在黑盒与白盒攻击场景下，该数据转换模块在多大程度上限制了对抗性样本的有效性？
• RQ5 非参数化与参数化LLE近似之间是否存在固有的理论下界，该下界可自然地贡献于对抗性鲁棒性？

主要发现

• 在恶意软件数据集上，LLE-DNN在所有评估模型中实现了最高的分类准确率，表明稀疏恶意软件数据中冗余减少带来了更优的特征学习能力。
• 在黑盒攻击下，LLE-DNN对对抗性样本表现出最强的抵抗能力，优于对抗性训练和防御蒸馏方法。
• 即使在白盒条件下（即防御机制完全公开），LLE-DNN仍保持了强大的鲁棒性，其对抗性准确率显著高于其他方法。
• 该模型对$l_\infty$、$l_2$和$l_0$攻击的抵抗能力尤为突出，标准DNN在这些攻击下的对抗性准确率分别降至6.86%、6.40%和7.50%，而LLE-DNN则保持了显著更高的性能。
• 理论分析与实证结果表明，LLE的非参数化特性在防御机制完全暴露的情况下，仍能形成计算障碍，限制对抗性样本的生成。
• 使用DNN近似LLE并未降低鲁棒性，表明该防御机制的抗性源于变换本身的内在特性，而非实现方式的隐蔽性。