[论文解读] Adversary Resistant Deep Neural Networks with an Application to Malware Detection

Qinglong Wang, Wenbo Guo+5 more|arXiv (Cornell University)|Oct 5, 2016

Adversarial Robustness in Machine Learning参考文献 18被引用 9

一句话总结

本文提出随机特征置零（Random Feature Nullification, RFN），一种通过在训练和推理过程中随机置零输入特征来增强深度神经网络对对抗样本鲁棒性的技术。RFN 显著提升了对对抗攻击的抵抗能力——在 MNIST 上达到最高 91.28% 的抵抗率，在 CIFAR-10 上达到 78.18%，同时保持了高分类准确率，并提供了鲁棒性的经验与理论保障。

ABSTRACT

Beyond its highly publicized victories in Go, there have been numerous successful applications of deep learning in information retrieval, computer vision and speech recognition. In cybersecurity, an increasing number of companies have become excited about the potential of deep learning, and have started to use it for various security incidents, the most popular being malware detection. These companies assert that deep learning (DL) could help turn the tide in the battle against malware infections. However, deep neural networks (DNNs) are vulnerable to adversarial samples, a flaw that plagues most if not all statistical learning models. Recent research has demonstrated that those with malicious intent can easily circumvent deep learning-powered malware detection by exploiting this flaw. In order to address this problem, previous work has developed various defense mechanisms that either augmenting training data or enhance model's complexity. However, after a thorough analysis of the fundamental flaw in DNNs, we discover that the effectiveness of current defenses is limited and, more importantly, cannot provide theoretical guarantees as to their robustness against adversarial sampled-based attacks. As such, we propose a new adversary resistant technique that obstructs attackers from constructing impactful adversarial samples by randomly nullifying features within samples. In this work, we evaluate our proposed technique against a real world dataset with 14,679 malware variants and 17,399 benign programs. We theoretically validate the robustness of our technique, and empirically show that our technique significantly boosts DNN robustness to adversarial samples while maintaining high accuracy in classification. To demonstrate the general applicability of our proposed method, we also conduct experiments using the MNIST and CIFAR-10 datasets, generally used in image recognition research.

研究动机与目标

• 为解决深度神经网络（DNNs）对对抗样本的严重脆弱性，此类样本可被恶意软件作者利用以绕过检测。
• 克服现有防御方法缺乏理论保障且在鲁棒性方面经验受限的局限性。
• 开发一种在恶意软件检测等安全关键应用中对对抗操纵具有理论与经验双重鲁棒性的防御机制。
• 证明所提方法在多样化数据集（包括恶意软件、MNIST 和 CIFAR-10）上的泛化能力。
• 通过非确定性输入处理机制，在显著提升对对抗攻击抵抗能力的同时，保持高分类准确率。

提出的方法

• 提出随机特征置零（RFN），一种在训练和推理过程中随机置零输入特征的技术，使模型行为呈现非确定性。
• RFN 通过以固定概率（例如 50%）随机将输入特征子集置零来实现，本质上是一种输入级正则化形式。
• 该方法受传统 dropout 启发，但具有本质区别；dropout 作用于隐藏层神经元，而 RFN 直接作用于输入特征，从而干扰对抗性特征工程。
• RFN 在训练和测试阶段均应用，确保攻击者无法可靠地反向工程以识别关键特征。
• 该方法与网络架构无关，兼容多种 DNN，包括全连接网络和卷积神经网络（CNNs）。
• 理论分析表明，由于特征重要性存在固有不确定性，RFN 阻止攻击者构建有效且针对特定模型的对抗样本。

实验结果

研究问题

• RQ1 能否设计一种防御机制，为深度神经网络中的对抗攻击提供理论与经验双重保障？
• RQ2 与现有防御方法相比，随机特征置零（RFN）在恶意软件检测中提升对抗样本鲁棒性的效果如何？
• RQ3 在多种数据集上，RFN 是否在显著提升对对抗扰动抵抗能力的同时保持高分类准确率？
• RQ4 当 RFN 与对抗训练结合时性能如何？该组合是否能带来更优的鲁棒性？
• RQ5 RFN 在不同数据类型（如恶意软件二进制文件和 MNIST、CIFAR-10 等图像数据集）之间是否具备泛化能力？

主要发现

• 在 MNIST 数据集上，RFN 对对抗样本的抵抗率达到 91.28%，显著优于标准 DNN（8.19%）、dropout（19.51%）和对抗训练（67.68%）在相同条件下的表现。
• 在 CIFAR-10 上，RFN 抵抗率达到 78.18%，超过对抗训练（33.97%）和标准模型（10.68%），表明其在复杂图像识别任务中具有强大鲁棒性。
• RFN 与对抗训练结合后，抵抗率达到最高（MNIST 上为 91.28%，CIFAR-10 上为 74.12%），表明二者具有协同增益效应。
• 在 50% 特征置零率下，RFN 仍保持高分类准确率——MNIST 上为 96.78%，CIFAR-10 上为 74.02%，表明即使在强鲁棒性下，准确率损失也极小。
• 在包含 14,679 个变种和 17,399 个良性程序的真实世界恶意软件数据集上的实证结果证实，RFN 显著提升了 DNN 的鲁棒性，同时保持高准确率。
• 理论分析确认，RFN 阻止攻击者可靠识别关键特征，由于模型的非确定性，使得构建对抗样本变得无效。