[论文解读] Improving Botnet Detection with Recurrent Neural Network and Transfer Learning

Jeeyung Kim, Alex Sim+3 more|arXiv (Cornell University)|Apr 26, 2021

Network Security and Intrusion Detection参考文献 40被引用 9

一句话总结

该论文提出一种结合迁移学习的循环变分自编码器（RVAE），通过捕捉网络流量的序列模式并减少对标注数据的依赖，以提升僵尸网络检测性能。该方法在迁移学习下实现了91.8%的真正例率（TPR），显著优于仅在目标数据上训练的半监督RVAE（68.3% TPR），证明了在极少标注数据下对未见僵尸网络的优越检测能力。

ABSTRACT

Botnet detection is a critical step in stopping the spread of botnets and preventing malicious activities. However, reliable detection is still a challenging task, due to a wide variety of botnets involving ever-increasing types of devices and attack vectors. Recent approaches employing machine learning (ML) showed improved performance than earlier ones, but these ML- based approaches still have significant limitations. For example, most ML approaches can not incorporate sequential pattern analysis techniques key to detect some classes of botnets. Another common shortcoming of ML-based approaches is the need to retrain neural networks in order to detect the evolving botnets; however, the training process is time-consuming and requires significant efforts to label the training data. For fast-evolving botnets, it might take too long to create sufficient training samples before the botnets have changed again. To address these challenges, we propose a novel botnet detection method, built upon Recurrent Variational Autoencoder (RVAE) that effectively captures sequential characteristics of botnet activities. In the experiment, this semi-supervised learning method achieves better detection accuracy than similar learning methods, especially on hard to detect classes. Additionally, we devise a transfer learning framework to learn from a well-curated source data set and transfer the knowledge to a target problem domain not seen before. Tests show that the true-positive rate (TPR) with transfer learning is higher than the RVAE semi-supervised learning method trained using the target data set (91.8% vs. 68.3%).

研究动机与目标

• 解决使用多种协议且可规避传统基于签名方法的演化型僵尸网络检测挑战。
• 通过减少对大规模、高成本标注数据集的依赖，克服监督学习在僵尸网络检测中的局限性。
• 通过使用循环神经网络架构建模网络流量中的序列与周期性模式，提升异常检测能力。
• 构建一种迁移学习框架，利用源领域中的标注数据提升目标领域中标签稀缺或无标签环境下的检测性能。
• 通过半监督与迁移学习方法实现实时、鲁棒的未见僵尸网络变种检测。

提出的方法

• 提出一种循环变分自编码器（RVAE），用于建模网络流量的序列模式，捕捉僵尸网络行为中的时间依赖性。
• 采用仅使用正常流量样本的半监督学习方法进行训练，最大限度减少对恶意数据标注的依赖。
• 实施一种迁移学习框架，即在已标注的源数据集（如CTU-13）上预训练的模型，进一步在无标签的目标数据上进行微调。
• 通过重构误差与概率密度函数（PDF）比较识别异常，基于学习到的分布进行阈值设定。
• 采用动态采样策略（$r_s$）以平衡训练数据分布，优化检测性能。
• 使用标准指标评估性能：真正例率（TPR）、假正例率（FPR）以及ROC曲线下面积（AUROC）

实验结果

研究问题

• RQ1 循环神经网络架构能否有效建模僵尸网络流量中的序列模式，从而在检测性能上超越非序列模型？
• RQ2 所提出的基于RVAE的半监督方法在检测未见僵尸网络变种方面，与传统机器学习模型相比表现如何？
• RQ3 当目标领域中标签数据稀缺或不可用时，迁移学习在多大程度上能提升检测性能？
• RQ4 训练集中标注样本比例（$r_s$）对半监督异常检测方法性能有何影响？
• RQ5 该迁移学习框架是否具备跨不同网络监控数据分布的泛化能力，能否有效检测新型僵尸网络行为？

主要发现

• RVAE模型在CTU-13数据集上达到0.979的AUROC，优于MLP-VAE（AUROC为0.963），证明了序列模式建模的优势。
• 迁移学习在未见目标数据上实现了91.8%的真正例率（TPR），显著高于仅在目标数据上训练的RVAE（68.3% TPR）。
• 该方法能有效检测未见僵尸网络变种，包括使用混合协议（如IRC、P2P和HTTP）的变种，得益于其序列建模能力。
• 最优性能出现在低采样比例（$r_s$ = 5%）时，该设置最小化了重构误差分布的偏差，降低了假阳性率。
• 迁移学习框架在数据稀缺环境中实现有效检测，适用于实际部署场景，因僵尸网络标注样本通常稀少。
• 该方法在多种僵尸网络行为下表现出鲁棒性，包括使用专有协议的变种，但FPR仍为相对薄弱环节，需进一步优化。