[论文解读] Botnet Detection Using Recurrent Variational Autoencoder

Jeeyung Kim, Alex Sim+2 more|arXiv (Cornell University)|Apr 1, 2020

Network Security and Intrusion Detection参考文献 29被引用 7

一句话总结

本文提出一种循环变分自编码器（RVAE），通过建模网络流量流数据中的序列模式，实现实时在线僵尸网络检测。该方法通过学习到的概率分布分配异常分数，在检测此前未见过的僵尸网络家族时表现出高准确率，达到当前最先进水平，实现了对多种僵尸网络类型和通信协议的稳健性能，支持流式检测。

ABSTRACT

Botnets are increasingly used by malicious actors, creating increasing threat to a large number of internet users. To address this growing danger, we propose to study methods to detect botnets, especially those that are hard to capture with the commonly used methods, such as the signature based ones and the existing anomaly-based ones. More specifically, we propose a novel machine learning based method, named Recurrent Variational Autoencoder (RVAE), for detecting botnets through sequential characteristics of network traffic flow data including attacks by botnets. We validate robustness of our method with the CTU-13 dataset, where we have chosen the testing dataset to have different types of botnets than those of training dataset. Tests show that RVAE is able to detect botnets with the same accuracy as the best known results published in literature. In addition, we propose an approach to assign anomaly score based on probability distributions, which allows us to detect botnets in streaming mode as the new networking statistics becomes available. This on-line detection capability would enable real-time detection of unknown botnets.

研究动机与目标

• 解决基于签名和传统异常检测方法在检测演化中、此前未见的僵尸网络家族时的局限性。
• 开发一种基于机器学习的异常检测系统，能够通过序列和周期性流量模式识别僵尸网络，尤其适用于流式模式。
• 通过利用训练好的 RVAE 模型的概率重建误差分布，实现对未知僵尸网络的在线、实时检测。
• 验证系统在多种僵尸网络类型（包括使用非标准协议如专有 C2 通道）上的鲁棒性，这些类型在训练期间未被见过。
• 通过使用深度生成模型建模网络流量中的时间依赖性，提升异常检测系统的泛化能力和适应性。

提出的方法

• 所提方法采用循环变分自编码器（RVAE）学习正常网络流量序列的潜在表示，捕捉时间性和周期性模式。
• RVAE 仅在正常网络流数据上进行训练，学习重建输入序列的同时，通过变分推断建模不确定性。
• 通过在学习到的概率分布（PDF）下计算重建误差的似然性来计算异常分数，实现统计异常检测。
• 系统通过实时处理新网络统计数据支持在线检测，采用滑动窗口方法以保持时间上下文。
• 为重建误差分布估计最佳拟合概率分布（如广义逻辑分布、折叠柯西分布、米埃尔克分布），以区分正常流量与僵尸网络流量。
• 在不同时间窗口长度（5 秒、60 秒、300 秒）下评估性能，发现 60 秒在序列长度与梯度稳定性之间达到最佳平衡。

实验结果

研究问题

• RQ1 深度生成模型如 RVAE 是否能通过建模网络流量中的序列和周期性模式，有效检测僵尸网络？
• RQ2 所提出的基于 RVAE 的异常检测系统在未见过的僵尸网络家族（尤其是使用非 IRC/HTTP/P2P 协议的）上表现如何？
• RQ3 在流式模式下，为平衡重建准确率、梯度稳定性和检测性能，最优时间窗口长度是多少？
• RQ4 重建误差的概率分布是否能可靠地区分正常流量与僵尸网络流量，即使分布形状随窗口大小变化？
• RQ5 与 SOTA 方法相比，该方法在 CTU-13 等基准数据集上是否达到具有竞争力的性能，尤其是在在线检测场景下？

主要发现

• 在使用 60 秒时间窗口时，RVAE 模型在 CTU-13 数据集上达到 F1 值 0.929 和 AUROC 值 0.975，与文献中最佳已知结果相当或更优。
• 在 60 秒窗口下，该方法实现 100% 召回率和 86.5% 精确率，展现出对多种僵尸网络类型的强大检测能力。
• 300 秒窗口的精确率较低（53.7%），原因是正常与僵尸网络重建误差分布重叠严重，表明分离效果差。
• 5 秒窗口表现出高方差和分离效果差，最佳拟合分布为折叠柯西分布，表明短期模式建模不稳定。
• 60 秒窗口下，正常与僵尸网络重建误差分布的分离最明显，广义逻辑分布提供最佳拟合。
• 该方法成功检测到一个此前未见过的僵尸网络家族（场景 6，使用专有 C2 协议），其中 66% 的样本重建误差低于 4，表明对新型协议具有鲁棒性。