[论文解读] Adversarial Training for Deep Learning-based Intrusion Detection Systems

Islam Debicha, Thibault Debatty+2 more|arXiv (Cornell University)|Apr 20, 2021

Adversarial Robustness in Machine Learning参考文献 12被引用 7

一句话总结

本文研究了深度学习-based入侵检测系统（IDS）面临的对抗性攻击，并评估了对抗性训练作为防御手段的效果。结果表明，对抗性攻击会显著降低IDS的性能，但对抗性训练能提升模型的鲁棒性——尽管在干净数据上的准确率略有下降——因此可作为抵御网络安全部署中逃避攻击的有效防御策略。

ABSTRACT

Nowadays, Deep Neural Networks (DNNs) report state-of-the-art results in many machine learning areas, including intrusion detection. Nevertheless, recent studies in computer vision have shown that DNNs can be vulnerable to adversarial attacks that are capable of deceiving them into misclassification by injecting specially crafted data. In security-critical areas, such attacks can cause serious damage; therefore, in this paper, we examine the effect of adversarial attacks on deep learning-based intrusion detection. In addition, we investigate the effectiveness of adversarial training as a defense against such attacks. Experimental results show that with sufficient distortion, adversarial examples are able to mislead the detector and that the use of adversarial training can improve the robustness of intrusion detection.

研究动机与目标

• 评估深度学习-based入侵检测系统在网络安全场景下对对抗性攻击的脆弱性。
• 研究对抗性训练作为防御机制对上述攻击的有效性。
• 分析对抗性训练超参数（如攻击强度和对抗性样本比例）对模型鲁棒性和准确率的影响。
• 评估模型在对抗性样本鲁棒性与在干净网络流量上性能之间的权衡。

提出的方法

• 通过在正常网络流量中添加微小、有针对性的扰动，应用对抗性攻击（FGSM、BIM、PGD）生成对抗性样本。
• 通过在不同扰动强度（ε_defense）下使用PGD攻击生成的对抗性样本，与干净训练数据混合，实施对抗性训练。
• 在包含干净样本和对抗性样本的组合数据上训练模型，并调整对抗性样本的比例（30%、50%、70%、90%），以评估其影响。
• 通过使用PGD在不断增加的攻击强度（ε_attack）下测试模型，测量其在对抗性输入上的分类准确率，以评估鲁棒性。
• 同时测量模型在干净测试数据上的性能，以评估鲁棒性与标准准确率之间的权衡。
• 在训练过程中使用Dropout层，以减少过拟合并提升对抗性训练模型的泛化能力。

实验结果

研究问题

• RQ1 当应用于网络流量时，对抗性攻击是否能成功误导深度学习-based入侵检测系统？
• RQ2 对抗性训练如何影响入侵检测模型对对抗性样本的鲁棒性？
• RQ3 在训练过程中使用的对抗性样本强度（ε_defense）变化，对模型鲁棒性有何影响？
• RQ4 对抗性训练样本的比例如何影响模型抵抗对抗性攻击的能力？
• RQ5 是否存在对抗性攻击鲁棒性与干净网络流量上准确率之间的权衡？

主要发现

• 当扰动强度（ε_attack）足够大时，对抗性攻击会显著降低深度学习-based IDS的性能，导致高误分类率。
• 对抗性训练能提升入侵检测系统的鲁棒性，使其更能抵御通过PGD、FGSM和BIM生成的对抗性样本。
• 在对抗性训练中使用的扰动强度（ε_defense）越高，模型对更强攻击的抵抗能力越强，表明防御强度与鲁棒性之间存在直接关系。
• 对抗性训练样本的比例并未始终提升鲁棒性；尽管在ε_defense = 0.7时较高比例有所帮助，但在其他值下未观察到类似趋势，表明存在收益递减现象。
• 对抗性训练导致干净测试数据上的准确率出现轻微但可测量的下降，证实了鲁棒性与标准性能之间存在权衡。
• 在对抗性训练中使用Dropout层有助于缓解过拟合，支持模型在包含对抗性样本的情况下仍具备良好的泛化能力。