[论文解读] A Deep Belief Network Based Machine Learning System for Risky Host Detection

Wangyan Feng, Shuning Wu+2 more|arXiv (Cornell University)|Dec 29, 2017

Network Security and Intrusion Detection参考文献 12被引用 8

一句话总结

本文提出了一种基于深度置信网络（DBN）的机器学习系统，通过利用SIEM警报、安全日志和分析师调查结果，在企业环境中检测高风险主机。通过文本挖掘和基于图的特征工程，该系统将误报率降低了六倍，相较于现有基于规则的系统在真实企业数据上的表现提升了六倍。

ABSTRACT

To assure cyber security of an enterprise, typically SIEM (Security Information and Event Management) system is in place to normalize security event from different preventive technologies and flag alerts. Analysts in the security operation center (SOC) investigate the alerts to decide if it is truly malicious or not. However, generally the number of alerts is overwhelming with majority of them being false positive and exceeding the SOC's capacity to handle all alerts. There is a great need to reduce the false positive rate as much as possible. While most previous research focused on network intrusion detection, we focus on risk detection and propose an intelligent Deep Belief Network machine learning system. The system leverages alert information, various security logs and analysts' investigation results in a real enterprise environment to flag hosts that have high likelihood of being compromised. Text mining and graph based method are used to generate targets and create features for machine learning. In the experiment, Deep Belief Network is compared with other machine learning algorithms, including multi-layer neural network, random forest, support vector machine and logistic regression. Results on real enterprise data indicate that the deep belief network machine learning system performs better than other algorithms for our problem and is six times more effective than current rule-based system. We also implement the whole system from data collection, label creation, feature engineering to host score generation in a real enterprise production environment.

研究动机与目标

• 降低安全运营中心（SOCs）中因大量误报警报而对分析师造成负担的问题。
• 通过在真实企业安全数据上应用机器学习，提升对被 compromise 主机的检测能力。
• 开发一种可扩展的端到端系统，利用深度学习实现从数据收集到主机评分的风险检测。
• 在识别高被 compromise 可能性主机方面，超越传统机器学习模型和基于规则的系统。

提出的方法

• 系统对安全日志和警报描述进行文本挖掘，以提取语义特征。
• 采用基于图的方法建模主机、事件和警报之间的关系，以生成结构特征。
• 将文本分析和图分析所得的特征输入深度置信网络（DBN），以实现分层表征学习。
• DBN 采用贪婪的逐层预训练方法进行训练，随后进行微调。
• 利用分析师调查结果生成标签，以在已知高风险主机上训练模型。
• 基于DBN的输出生成最终的主机风险评分，从而实现对高风险系统的优先排序。

实验结果

研究问题

• RQ1 深度置信网络能否有效学习安全日志和警报中的复杂模式，以检测高风险主机？
• RQ2 与支持向量机（SVM）、随机森林和逻辑回归等传统机器学习模型相比，DBN在风险检测中的表现如何？
• RQ3 与基于规则的方法相比，所提出的系统在多大程度上能够减少误报？
• RQ4 该系统能否在真实企业生产环境中成功部署，并实现端到端的数据处理？

主要发现

• 基于DBN的系统在检测高风险主机方面优于其他机器学习模型，包括多层神经网络、随机森林、SVM和逻辑回归。
• 在企业环境中，该系统相较于现有基于规则的检测系统，效果提升了六倍。
• 文本挖掘与基于图的特征工程的结合显著增强了模型捕捉复杂攻击模式的能力。
• 该系统已在真实企业生产环境中成功部署，证明了其可扩展性和实用性。
• DBN的分层特征学习能力使其在复杂且嘈杂的安全事件数据上表现出更优的泛化能力。