[论文解读] A Novel Deep Learning based Model to Defend Network Intrusion Detection System against Adversarial Attacks

Khushnaseeb Roshan, Aasim Zafar+1 more|arXiv (Cornell University)|Jul 31, 2023

Network Security and Intrusion Detection被引用 7

一句话总结

本文提出了一种基于深度学习的防御机制，采用对抗训练以增强网络入侵检测系统（NIDS）对四种强大逃避攻击——FGSM、JSMA、PGD 和 C&W 的鲁棒性。对抗训练后，模型在这些攻击下的准确率从低于 62% 提升至大多数方法超过 98%，其中 C&W 攻击仍最具挑战性，精度为 71.56%。

ABSTRACT

Network Intrusion Detection System (NIDS) is an essential tool in securing cyberspace from a variety of security risks and unknown cyberattacks. A number of solutions have been implemented for Machine Learning (ML), and Deep Learning (DL) based NIDS. However, all these solutions are vulnerable to adversarial attacks, in which the malicious actor tries to evade or fool the model by injecting adversarial perturbed examples into the system. The main aim of this research work is to study powerful adversarial attack algorithms and their defence method on DL-based NIDS. Fast Gradient Sign Method (FGSM), Jacobian Saliency Map Attack (JSMA), Projected Gradient Descent (PGD) and Carlini & Wagner (C&W) are four powerful adversarial attack methods implemented against the NIDS. As a defence method, Adversarial Training is used to increase the robustness of the NIDS model. The results are summarized in three phases, i.e., 1) before the adversarial attack, 2) after the adversarial attack, and 3) after the adversarial defence. The Canadian Institute for Cybersecurity Intrusion Detection System 2017 (CICIDS-2017) dataset is used for evaluation purposes with various performance measurements like f1-score, accuracy etc.

研究动机与目标

• 研究基于深度学习的 NIDS 对四种主流对抗攻击方法（FGSM、JSMA、PGD 和 C&W）的脆弱性。
• 使用准确率、精确率、召回率和 F1 分数等标准指标，评估深度学习型 NIDS 在这些对抗攻击下的性能退化情况。
• 实施并验证对抗训练作为一种防御机制，以提升模型对逃避攻击的鲁棒性。
• 分析受限领域（如网络入侵检测）是否与无约束领域（如图像分类）一样容易受到对抗样本的影响。
• 提供实证证据，证明对抗训练在对抗扰动后能否将模型性能恢复至接近基线水平。

提出的方法

• 在 CICIDS-2017 数据集上训练一个深度神经网络（DNN）模型，以建立正常条件下的基线性能。
• 应用四种对抗攻击方法——FGSM、JSMA、PGD 和 C&W——生成可逃避检测的扰动输入。
• 通过使用来自所有四种攻击方法的干净样本和对抗扰动样本重新训练模型，实施对抗训练。
• 在对抗训练后重新评估模型，测量其在相同攻击条件下准确率、精确率、召回率、F1 分数和 AUC 的提升情况。
• 通过 F1 分数、AUC 和混淆矩阵等指标，对三个阶段（攻击前、攻击后、防御后）的性能进行定量比较。
• 通过测量模型在面对最先进攻击技术（尤其是 C&W 攻击）时维持高性能的能力，评估防御机制的鲁棒性。

实验结果

研究问题

• RQ1 FGSM、JSMA、PGD 和 C&W 攻击如何在 CICIDS-2017 数据集上降低基于深度学习的 NIDS 性能？
• RQ2 对抗训练在多大程度上缓解了这些攻击对 NIDS 鲁棒性的影响？
• RQ3 为何即使在对抗防御后，C&W 攻击仍是最有效降低模型性能的攻击？
• RQ4 受限领域（如网络入侵检测）是否与无约束领域（如图像识别）一样容易受到对抗样本的影响？
• RQ5 对抗训练是否能在遭受强对抗攻击后，将模型性能恢复至接近基线水平？

主要发现

• 基线 NIDS 模型在未受任何对抗攻击前，准确率为 98.54%，F1 分数为 98.54%。
• 在应用 FGSM、JSMA、PGD 和 C&W 攻击后，模型准确率分别下降至 57.95%、66.58%、56.81% 和 61.74%，表明性能严重退化。
• AUC 得分从 98.551 降至 FGSM 的 59.232、JSMA 的 68.037、PGD 的 58.485 和 C&W 的 63.41，证实检测能力显著下降。
• 对抗训练后，准确率分别提升至 FGSM 的 98.7%、JSMA 的 98.47%、PGD 的 98.68% 和 C&W 的 71.56%，表明防御效果显著。
• C&W 攻击后精确率仍最低，为 80.35%，表明 C&W 仍是最难防御的攻击。
• 结果证实，即使在受限领域（如 NIDS），若缺乏适当防御机制，深度学习模型仍极易受到对抗攻击的影响。