[论文解读] Generating Cyber Threat Intelligence to Discover Potential Security Threats Using Classification and Topic Modeling

Md Imran Hossen, Ashraful Islam+5 more|arXiv (Cornell University)|Aug 15, 2021

Cybercrime and Law Enforcement Studies被引用 4

一句话总结

本文提出了一种自动化框架，通过结合监督分类与无监督主题建模，从真实黑客论坛数据中生成网络威胁情报（CTI）。该框架构建了二元与多分类数据集，评估了多种分类器（包括深度学习模型），并应用LDA与NMF进行主题发现，在威胁检测与有意义的威胁分类方面均取得高绩效。

ABSTRACT

Due to the variety of cyber-attacks or threats, the cybersecurity community enhances the traditional security control mechanisms to an advanced level so that automated tools can encounter potential security threats. Very recently, Cyber Threat Intelligence (CTI) has been presented as one of the proactive and robust mechanisms because of its automated cybersecurity threat prediction. Generally, CTI collects and analyses data from various sources e.g., online security forums, social media where cyber enthusiasts, analysts, even cybercriminals discuss cyber or computer security-related topics and discovers potential threats based on the analysis. As the manual analysis of every such discussion (posts on online platforms) is time-consuming, inefficient, and susceptible to errors, CTI as an automated tool can perform uniquely to detect cyber threats. In this paper, we identify and explore relevant CTI from hacker forums utilizing different supervised (classification) and unsupervised learning (topic modeling) techniques. To this end, we collect data from a real hacker forum and constructed two datasets: a binary dataset and a multi-class dataset. We then apply several classifiers along with deep neural network-based classifiers and use them on the datasets to compare their performances. We also employ the classifiers on a labeled leaked dataset as our ground truth. We further explore the datasets using unsupervised techniques. For this purpose, we leverage two topic modeling algorithms namely Latent Dirichlet Allocation (LDA) and Non-negative Matrix Factorization (NMF).

研究动机与目标

• 解决手动分析在线论坛中大量非结构化威胁相关讨论的挑战。
• 开发一种自动化系统，从黑客论坛内容中提取并分类网络威胁，以实现主动威胁情报。
• 通过结合监督与无监督机器学习技术，提升威胁检测的效率与准确性。
• 通过非结构化安全论坛数据的主题建模，实现对新兴网络威胁的早期识别。

提出的方法

• 从黑客论坛收集真实世界数据，构建两个标注数据集：一个二元（威胁 vs. 非威胁），一个多分类（分类威胁）。
• 应用多种监督分类器，包括传统机器学习模型与深度神经网络，对威胁内容进行分类。
• 使用潜在狄利克雷分布（LDA）与非负矩阵分解（NMF）进行无监督主题建模，以发现隐藏的威胁主题。
• 利用标注的泄露数据集作为真实标签，评估模型性能，以验证分类准确性。
• 结合分类与主题建模，从非结构化文本源生成可操作的网络威胁情报。
• 采用标准的自然语言处理预处理与嵌入技术，为分类与主题建模任务准备文本数据。

实验结果

研究问题

• RQ1 各种监督分类器在区分黑客论坛讨论中与网络威胁相关的文本与非威胁文本方面的有效性如何？
• RQ2 LDA与NMF等主题建模技术在从非结构化论坛数据中发现有意义且可操作的威胁类别方面，其效果如何？
• RQ3 分类与主题建模的整合如何提升生成的网络威胁情报的整体质量与实用性？
• RQ4 基于深度学习的分类器在从论坛文本中检测网络威胁方面，相较于传统模型的表现如何？
• RQ5 当在保留的标注数据集（作为真实标签）上评估时，模型的泛化能力如何？

主要发现

• 所提出的框架在检测网络威胁方面实现了高分类准确率，其中深度神经网络模型在二元与多分类数据集上均优于传统分类器。
• LDA与NMF成功识别出连贯且语义有意义的威胁主题，如恶意软件分发与零日漏洞利用讨论。
• 多分类模型在将威胁分类为不同类别方面表现出色，实现了更细粒度的威胁情报。
• 将主题建模与分类结合，通过将检测到的威胁链接至特定主题聚类，显著提升了可解释性。
• 使用标注的泄露数据集作为真实标签，证实了模型预测的可靠性和有效性。
• 在网络安全威胁数据背景下，NMF相较于LDA展现出更好的主题一致性与可解释性，尤其在识别细分威胁类别方面表现更优。