[论文解读] Recurrent Neural Network Language Models for Open Vocabulary Event-Level Cyber Anomaly Detection

Aaron Tuor, Ryan Baerwolf+4 more|arXiv (Cornell University)|Dec 2, 2017

Network Security and Intrusion Detection参考文献 22被引用 27

一句话总结

本文提出一种无监督、在线的循环神经网络（RNN）语言模型，用于使用原始系统日志行进行开放词汇、事件级网络异常检测。通过将日志序列建模为自然语言，并利用双向字符级RNN，该方法在无需领域特定特征工程的情况下实现了最先进性能——在LANL网络安全数据集上达到0.98 AUC，实现了细粒度、实时的恶意活动日志行级别检测。

ABSTRACT

Automated analysis methods are crucial aids for monitoring and defending a network to protect the sensitive or confidential data it hosts. This work introduces a flexible, powerful, and unsupervised approach to detecting anomalous behavior in computer and network logs, one that largely eliminates domain-dependent feature engineering employed by existing methods. By treating system logs as threads of interleaved "sentences" (event log lines) to train online unsupervised neural network language models, our approach provides an adaptive model of normal network behavior. We compare the effectiveness of both standard and bidirectional recurrent neural network language models at detecting malicious activity within network log data. Extending these models, we introduce a tiered recurrent architecture, which provides context by modeling sequences of users' actions over time. Compared to Isolation Forest and Principal Components Analysis, two popular anomaly detection algorithms, we observe superior performance on the Los Alamos National Laboratory Cyber Security dataset. For log-line-level red team detection, our best performing character-based model provides test set area under the receiver operator characteristic curve of 0.98, demonstrating the strong fine-grained anomaly detection performance of this approach on open vocabulary logging sources.

研究动机与目标

• 解决现有异常检测方法严重依赖手工设计、领域特定特征的局限性。
• 在无需对系统配置做出先验假设的前提下，实现在开放词汇网络日志中的细粒度、日志行级别异常检测。
• 通过消除特征工程，减少部署时间并提高在多样化网络环境中的适应能力。
• 通过直接建模原始日志标记中的序列模式，提高检测灵敏度并减少误报。
• 评估基于RNN的语言模型（尤其是字符级和双向变体）在检测细微或新型网络威胁方面的有效性。

提出的方法

• 将系统日志行视为标记（单词或字符）序列，并在每日日志批次上在线、无监督地训练RNN语言模型。
• 使用双向长短期记忆（Bi-LSTM）网络以捕捉正向和反向方向的上下文依赖关系。
• 基于异常日志行在正常行为学习模型下的概率得分较低，为其分配低概率分数。
• 采用分层循环架构以建模随时间推移的用户操作序列，增强上下文感知能力。
• 在固定内存边界内实时处理日志，支持在高速日志流中的可扩展性。
• 使用洛斯阿拉莫斯国家实验室（LANL）网络安全数据集评估性能，其中包含真实红队活动的标注。

实验结果

研究问题

• RQ1 基于RNN的语言模型是否能在无需领域特定特征工程的情况下，有效检测原始系统日志中的异常行为？
• RQ2 检测粒度（日志行级别 vs. 每日级别）如何影响基于语言模型的异常检测性能？
• RQ3 在开放词汇网络日志的异常检测中，字符级分词是否优于词级分词？
• RQ4 双向RNN与标准RNN相比，在捕捉网络异常检测的上下文模式方面表现如何？
• RQ5 分层循环架构是否通过建模随时间推移的用户级操作序列来提升检测性能？

主要发现

• 表现最佳的模型——双向字符级RNN语言模型——在日志行级别检测任务中实现了受试者工作特征曲线下面积（AUC）为0.98。
• 字符级模型仅需标记3%的数据即可达到80%的召回率，显著优于隔离森林基线模型（后者需55%的数据达到相同召回率）。
• 双向语言模型在每日级别检测中优于标准RNN，表明其具有更优的上下文建模能力。
• 字符级模型的非归一化异常得分在红队事件中绝大多数高于第95百分位数，表明对恶意活动具有强敏感性。
• 该模型在第14天检测到此前未标注的异常事件，表明其具有发现未知威胁的潜力。
• 与隔离森林和主成分分析相比，该方法在精确率和召回率效率方面表现更优，尤其在检测性能上具有显著优势。