[论文解读] NLP-Based Techniques for Cyber Threat Intelligence

Marco Arazzi, Dincy R. Arikkat+5 more|arXiv (Cornell University)|Nov 15, 2023

Advanced Malware Detection Techniques被引用 6

一句话总结

本综述对基于自然语言处理（NLP）的网络威胁情报（CTI）技术进行了全面分析，涵盖从公开网络、暗网及社交网络源获取数据、文本处理、实体与关系抽取、知识图谱构建以及CTI共享等环节。研究指出，NLP在自动化威胁检测、提升分析师效率以及通过非结构化文本数据生成可操作情报实现主动防御方面至关重要。

ABSTRACT

In the digital era, threat actors employ sophisticated techniques for which, often, digital traces in the form of textual data are available. Cyber Threat Intelligence~(CTI) is related to all the solutions inherent to data collection, processing, and analysis useful to understand a threat actor's targets and attack behavior. Currently, CTI is assuming an always more crucial role in identifying and mitigating threats and enabling proactive defense strategies. In this context, NLP, an artificial intelligence branch, has emerged as a powerful tool for enhancing threat intelligence capabilities. This survey paper provides a comprehensive overview of NLP-based techniques applied in the context of threat intelligence. It begins by describing the foundational definitions and principles of CTI as a major tool for safeguarding digital assets. It then undertakes a thorough examination of NLP-based techniques for CTI data crawling from Web sources, CTI data analysis, Relation Extraction from cybersecurity data, CTI sharing and collaboration, and security threats of CTI. Finally, the challenges and limitations of NLP in threat intelligence are exhaustively examined, including data quality issues and ethical considerations. This survey draws a complete framework and serves as a valuable resource for security professionals and researchers seeking to understand the state-of-the-art NLP-based threat intelligence techniques and their potential impact on cybersecurity.

研究动机与目标

• 为网络威胁情报（CTI）领域中基于NLP的技术提供系统化且最新的综述，以弥补该领域缺乏全面综述的现状。
• 考察从数据收集与预处理到分析、共享与标准化的完整CTI生命周期，重点关注NLP的应用。
• 识别并分析关键NLP技术，如命名实体识别（NER）、关系抽取、文本分类与摘要生成在CTI背景下的应用。
• 探究NLP在CTI中面临的关键挑战，包括数据质量、多语言威胁分析、对抗性攻击及伦理问题。
• 为研究人员和从业者提供基础性参考资源，梳理当前的研究趋势、工具及开放的研究方向。

提出的方法

• 对2010年至2023年间发表于顶级会议、期刊及研讨会的192篇同行评审论文进行系统性文献综述，聚焦NLP与CTI主题。
• 对NLP技术按CTI各阶段进行分类：数据爬取（公开网络、社交媒体、暗网）、预处理、文本表示及NLP建模。
• 应用NLP模型于威胁报告与论坛中的文本分类、相似性计算、聚类、主题检测、摘要生成及跨语言分析。
• 利用命名实体识别（NER）与关系抽取技术，从非结构化文本中提取入侵指标（IoCs）与战术、技术与程序（TTPs）。
• 基于提取的实体与关系构建知识图谱，以情境化方式表示网络威胁与威胁行为者。
• 分析CTI共享平台、标准化协议（如STIX/TAXII）以及与隐私、数据质量及对抗性攻击相关的挑战。

实验结果

研究问题

• RQ1 目前用于从社交媒体、公开网络及暗网等异构来源收集与处理CTI数据的NLP技术有哪些？
• RQ2 NLP模型如何促进从非结构化文本数据中提取可操作情报（如IoCs、TTPs及威胁行为者画像）？
• RQ3 在CTI中，关系抽取与知识图谱构建的前沿方法是什么？它们如何增强威胁上下文建模？
• RQ4 在应用NLP于CTI时面临的关键挑战有哪些，包括数据质量、多语言性及对抗性威胁？
• RQ5 标准化努力与信息共享平台如何影响基于NLP的CTI系统的有效性与安全性？

主要发现

• 本综述识别出192项相关研究，其中最多的研究（26篇）聚焦于从暗网与深网爬取数据，凸显了这些数据源在威胁情报中的重要性。
• 命名实体识别（NER）是CTI中研究最广泛的NLP任务，共30篇论文分析其在从威胁报告与论坛中提取IoCs与TTPs方面的应用。
• 关系抽取（23篇）与知识图谱构建（26篇）在建模威胁行为者、工具与基础设施之间的复杂关系方面发挥关键作用。
• 跨语言NLP仍研究不足，仅有5篇论文涉及多语言威胁情报，尤其针对暗网上非英语内容的研究更为稀缺。
• 文本分类（21篇）与主题检测（10篇）广泛用于威胁分类与趋势分析，支持早期预警系统构建。
• 针对CTI中NLP模型的对抗性攻击日益成为关注焦点，但仅有2篇论文明确探讨此类威胁，表明在模型鲁棒性方面仍存在研究空白。