[论文解读] Generating Practical Adversarial Network Traffic Flows Using NIDSGAN

Bolor-Erdene Zolbayar, Ryan Sheatsley+5 more|arXiv (Cornell University)|Mar 13, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

该论文提出NIDSGAN，一种基于生成对抗网络（GAN）的方法，用于生成能够绕过机器学习驱动的网络入侵检测系统（NIDS）的真实对抗性网络流量流。在仅限访问的黑盒和受限黑盒环境下，通过施加领域特定约束，NIDSGAN在白盒、黑盒和受限黑盒威胁模型下分别实现了99%、85%和70%的绕过成功率，针对基于深度神经网络（DNN）的NIDS。

ABSTRACT

Network intrusion detection systems (NIDS) are an essential defense for computer networks and the hosts within them. Machine learning (ML) nowadays predominantly serves as the basis for NIDS decision making, where models are tuned to reduce false alarms, increase detection rates, and detect known and unknown attacks. At the same time, ML models have been found to be vulnerable to adversarial examples that undermine the downstream task. In this work, we ask the practical question of whether real-world ML-based NIDS can be circumvented by crafted adversarial flows, and if so, how can they be created. We develop the generative adversarial network (GAN)-based attack algorithm NIDSGAN and evaluate its effectiveness against realistic ML-based NIDS. Two main challenges arise for generating adversarial network traffic flows: (1) the network features must obey the constraints of the domain (i.e., represent realistic network behavior), and (2) the adversary must learn the decision behavior of the target NIDS without knowing its model internals (e.g., architecture and meta-parameters) and training data. Despite these challenges, the NIDSGAN algorithm generates highly realistic adversarial traffic flows that evade ML-based NIDS. We evaluate our attack algorithm against two state-of-the-art DNN-based NIDS in whitebox, blackbox, and restricted-blackbox threat models and achieve success rates which are on average 99%, 85%, and 70%, respectively. We also show that our attack algorithm can evade NIDS based on classical ML models including logistic regression, SVM, decision trees and KNNs, with a success rate of 70% on average. Our results demonstrate that deploying ML-based NIDS without careful defensive strategies against adversarial flows may (and arguably likely will) lead to future compromises.

研究动机与目标

• 探究真实世界中基于机器学习的NIDS是否可被精心构造的对抗性网络流量流绕过。
• 解决生成符合网络协议约束和真实特征分布的对抗性流量流的挑战。
• 开发一种在目标NIDS访问受限（包括黑盒和受限黑盒威胁模型）条件下有效的攻击方法。
• 评估对抗性流量在多种NIDS模型（包括深度神经网络和传统机器学习模型）之间的可迁移性。
• 探索使用主动学习减少所需查询次数的同时保持高绕过成功率的可行性。

提出的方法

• NIDSGAN采用条件生成对抗网络（cGAN）通过学习真实良性流量和攻击流量的分布来生成对抗性网络流量流。
• 该模型对流量特征（如有效端口范围、协议特定值等）施加领域特定约束，以确保生成的流量真实且语法正确。
• 在黑盒和受限黑盒环境下，攻击者使用仅观察到的少量NIDS对生成的对抗性流量流的响应，训练本地替代模型。
• 应用主动学习，迭代选择最具信息量的对抗性样本进行目标NIDS查询，从而在更少查询次数下提升本地模型性能。
• 攻击框架采用最小扰动策略，对真实攻击流量流进行轻微修改，使NIDS的预测从“攻击”变为“良性”，同时保持流量的真实性。
• 生成器在最小化扰动L2范数的同时最大化NIDS绕过率进行训练，从而确保隐蔽性与有效性。

实验结果

研究问题

• RQ1 在实际威胁模型下，能否生成真实对抗性网络流量流，以绕过最先进的基于深度神经网络（DNN）的NIDS？
• RQ2 在模型和数据访问受限的白盒、黑盒和受限黑盒设置下，NIDSGAN方法的有效性如何？
• RQ3 NIDSGAN生成的对抗性流量在多大程度上可迁移至并绕过基于传统机器学习的NIDS（如SVM、逻辑回归和决策树）？
• RQ4 在受限黑盒场景中，主动学习是否能减少对目标NIDS的查询次数，同时保持高绕过成功率？
• RQ5 在保持网络协议真实性的前提下，生成对抗性网络流量时仍面临哪些关键约束与挑战，使其不被NIDS检测到？

主要发现

• 在白盒威胁模型下，NIDSGAN对基于DNN的NIDS实现了99%的绕过成功率，表明在完全访问模型的情况下具有极高有效性。
• 在黑盒威胁模型下（无模型内部结构或训练数据访问），NIDSGAN通过利用本地训练的替代模型，实现了85%的绕过成功率。
• 在受限黑盒设置下（代表有限查询访问的现实场景），NIDSGAN维持了70%的绕过成功率，且主动学习显著提升了性能。
• NIDSGAN生成的对抗性流量成功绕过了基于传统机器学习的NIDS，在SVM、逻辑回归、KNN和决策树等模型上平均实现了70%的绕过率。
• 可迁移性实验表明，为绕过AlertNet和DeepNet NIDS模型而生成的对抗性流量，在CICIDS-2017和NSL-KDD数据集上分别实现了70%和61%的绕过成功率，成功绕过传统机器学习基线模型。
• 研究表明，即使在查询访问极少且特征空间受限的情况下，仍可生成既真实又高度有效的对抗性流量，以绕过现代NIDS。