[论文解读] Deep Learning for Unsupervised Insider Threat Detection in Structured Cybersecurity Data Streams

Aaron Tuor, Samuel Kaplan+3 more|arXiv (Cornell University)|Oct 2, 2017

Network Security and Intrusion Detection被引用 184

一句话总结

在线无监督深度学习在流式系统日志中检测异常的用户活动；基于每个用户的 DNN/LSTM 模型，具有可解释的异常贡献，在 CERT v6.2 数据上优于 PCA、SVM 和 Isolation Forest 基线。

ABSTRACT

Analysis of an organization's computer network activity is a key component of early detection and mitigation of insider threat, a growing concern for many organizations. Raw system logs are a prototypical example of streaming data that can quickly scale beyond the cognitive power of a human analyst. As a prospective filter for the human analyst, we present an online unsupervised deep learning approach to detect anomalous network activity from system logs in real time. Our models decompose anomaly scores into the contributions of individual user behavior features for increased interpretability to aid analysts reviewing potential cases of insider threat. Using the CERT Insider Threat Dataset v6.2 and threat detection recall as our performance metric, our novel deep and recurrent neural network models outperform Principal Component Analysis, Support Vector Machine and Isolation Forest based anomaly detection baselines. For our best model, the events labeled as insider threat activity in our dataset had an average anomaly score in the 95.53 percentile, demonstrating our approach's potential to greatly reduce analyst workloads.

研究动机与目标

• 从高吞吐率、异质性系统日志中推动早期内部威胁检测。
• 开发一个在线无监督深度学习系统，用于建模正常用户行为以标记异常。
• 通过将分数分解为贡献特征，提供可解释的异常解释。
• 在 CERT Insider Threat Dataset v6.2 上，将在线 DNN 和 LSTM 架构与标准基线进行比较评估。

提出的方法

• 将系统日志表示为每日、按用户的 414 维特征向量（408 个计数 + 6 个分类属性）。
• 实现两种神经网络架构：一个深度神经网络（DNN）和一个循环神经网络（LSTM），共享参数但具有每个用户的状态以进行在线学习。
• 使用概率模型预测下一个每日特征向量或重构当前向量，将异常性计算为负对数似然。
• 使用因子化近似对连续计数和六个分类变量的联合分布建模，并对分类变量输出 softmax。
• 将异常分数分解为来自各个特征的贡献，以帮助分析人员解释。
• 通过在每个新用户事件向量到来时更新权重进行在线训练，维护每个用户的隐藏/单元状态，同时共享全局参数。

实验结果

研究问题

• RQ1 在线 DNN 和 LSTM 模型是否比传统基线在流式、结构化的网络安全数据中更有效地检测内部威胁？
• RQ2 通过在线训练对每个用户行为进行建模是否在实时性方面提高异常检测和可解释性？
• RQ3 包括分类特征相对于仅使用计数特征对检测性能的影响是什么？
• RQ4 哪种预测目标（同一时间步 vs 下一个时间步）产出更好的异常检测？
• RQ5 连续特征的对角协方差模型是否比单位协方差提高性能？

主要发现

• DNN-Diag 与 LSTM-Diag 在累计召回率指标（CR-400 和 CR-1000）上显著超过PCA、SVM和Isolation Forest 基线。
• 在某些设置中包含分类特征带来适度的性能提升，但通常在仅使用计数特征时并非如此；许多实验中仅计数的模型表现最佳。
• 在 DNN 和 LSTM 变体中，使用同一时间步进行预测（重构当前输入）优于下一个时间步。
• 连续特征的对角协方差相较单位协方差提高了性能，尤其在在线场景下。
• 在开发/测试划分中，某些模型在每日预算约 425 时达到 100% 召回率，在较小预算下也有显著召回（如 250 对应 90% 召回）。
• 主表中的最佳结果显示 LSTM-Diag 的 CR-400 = 11.6 和 CR-1000 = 35.6，LSTM-Diag-Cat 的 CR-400 = 9.2 和 CR-1000 = 32.3。