[论文解读] Efficient GAN-based method for cyber-intrusion detection

Hongyu Chen, Li Jiang|arXiv (Cornell University)|Apr 4, 2019

Network Security and Intrusion Detection参考文献 21被引用 16

一句话总结

本文提出了一种高效的基于生成对抗网络（GAN）的网络入侵检测模型，通过引入优化的损失函数和多个中间层，解决了不平衡数据集中离散特征的挑战。该模型利用Wasserstein距离和特征匹配技术，提升了异常检测的准确性，同时减少了训练和推理时间，在KDD-CUP '99数据集上的表现优于当前最先进的基于GAN的检测方法。

ABSTRACT

Ubiquitous anomalies endanger the security of our system constantly. They may bring irreversible damages to the system and cause leakage of privacy. Thus, it is of vital importance to promptly detect these anomalies. Traditional supervised methods such as Decision Trees and Support Vector Machine (SVM) are used to classify normality and abnormality. However, in some case the abnormal status are largely rarer than normal status, which leads to decision bias of these methods. Generative adversarial network (GAN) has been proposed to handle the case. With its strong generative ability, it only needs to learn the distribution of normal status, and identify the abnormal status through the gap between it and the learned distribution. Nevertheless, existing GAN-based models are not suitable to process data with discrete values, leading to immense degradation of detection performance. To cope with the discrete features, in this paper, we propose an efficient GAN-based model with specifically-designed loss function. Experiment results show that our model outperforms state-of-the-art models on discrete dataset and remarkably reduce the overhead.

研究动机与目标

• 为解决传统监督方法在类别不平衡情况下检测罕见网络入侵的局限性。
• 克服标准GAN在处理离散特征时表现不佳的问题，此类问题源于分布不重叠及损失函数设计不当。
• 减少基于GAN的异常检测在实时网络入侵检测中的训练与推理时间。
• 通过利用多个中间层和优化损失函数，提升特征表示质量与异常评分准确性。

提出的方法

• 模型采用双边生成器-判别器架构，结合基于Wasserstein距离与特征匹配的优化损失函数，以处理离散特征分布不重叠的问题。
• 在判别器中引入多个中间层，通过分层特征重建软化决策边界，提升异常评分估计的准确性。
• 训练过程采用基于L1的Wasserstein距离，而非交叉熵损失，更适合处理稀有且离散的数据分布。
• 通过独热编码（one-hot encoding）对离散特征进行预处理，使其与GAN框架兼容。
• 异常评分基于输入样本与潜在空间中生成的最相似正常样本之间的差异计算得出。
• 模型仅使用正常样本进行训练，实现无监督异常检测。

实验结果

研究问题

• RQ1 基于GAN的模型能否在具有离散特征和严重类别不平衡的数据集中有效检测网络入侵？
• RQ2 Wasserstein距离与特征匹配的结合在处理离散数据的非重叠分布时，如何提升检测性能？
• RQ3 在判别器中引入多个中间层在多大程度上提升了异常评分的准确性与模型鲁棒性？
• RQ4 与现有最先进的基于GAN的异常检测模型相比，该模型在训练与推理效率方面表现如何？

主要发现

• 在具有离散特征的KDD-CUP '99数据集上，所提模型的F1分数高于当前最先进的模型，展现出更优的检测性能。
• 与基于BiGAN的基准模型（Zenati et al., 2018）相比，该模型在GPU上将训练时间减少了约660倍，在CPU上减少了1.357倍。
• 在CPU上，该模型每样本的平均推理时间为1.4ms，优于基于BiGAN模型的1.9ms。
• 在污染率（1%至20%）变化的情况下，模型保持了高精确率与高召回率，表现出对数据不平衡的强鲁棒性。
• 引入多个中间层使异常评分预测更加平稳可靠，降低了对罕见正常模式的过拟合风险。
• 基于Wasserstein距离与特征匹配的优化损失函数，能有效应对离散数据中真实分布与生成分布之间缺乏重叠的问题。