[论文解读] Multi-Level Fine-Tuning, Data Augmentation, and Few-Shot Learning for Specialized Cyber Threat Intelligence

Markus Bayer, Tobias Frey+1 more|arXiv (Cornell University)|Jul 22, 2022

Network Security and Intrusion Detection被引用 6

一句话总结

本文提出了一种新颖的流水线，结合多层级微调、基于 GPT-3 的数据增强以及少样本学习，仅用 32 个标注实例即可训练出高精度的网络威胁情报（CTI）分类器。该方法在来自 2021 年微软 Exchange 服务器漏洞事件的新专家标注数据集上，F1 得分与在 1,800 个实例上训练的模型相差不超过 5 分，相比标准方法高出超过 21 分，相比最先进少样本模型高出 18 分。

ABSTRACT

Gathering cyber threat intelligence from open sources is becoming increasingly important for maintaining and achieving a high level of security as systems become larger and more complex. However, these open sources are often subject to information overload. It is therefore useful to apply machine learning models that condense the amount of information to what is necessary. Yet, previous studies and applications have shown that existing classifiers are not able to extract specific information about emerging cybersecurity events due to their low generalization ability. Therefore, we propose a system to overcome this problem by training a new classifier for each new incident. Since this requires a lot of labelled data using standard training methods, we combine three different low-data regime techniques - transfer learning, data augmentation, and few-shot learning - to train a high-quality classifier from very few labelled instances. We evaluated our approach using a novel dataset derived from the Microsoft Exchange Server data breach of 2021 which was labelled by three experts. Our findings reveal an increase in F1 score of more than 21 points compared to standard training methods and more than 18 points compared to a state-of-the-art method in few-shot learning. Furthermore, the classifier trained with this method and 32 instances is only less than 5 F1 score points worse than a classifier trained with 1800 instances.

研究动机与目标

• 解决现有网络威胁情报（CTI）分类器在面对新型、动态网络威胁时泛化能力不足的问题。
• 通过实现仅用极少标注数据即可获得高性能，减轻训练专用 CTI 模型的标注负担。
• 开发一个稳健且可复用的框架，利用低数据量训练技术，快速部署针对新兴网络威胁的高精度分类器。
• 创建一个基于真实世界网络事件的新型专家标注 CTI 数据集，以支持未来研究。

提出的方法

• 该方法采用多层级迁移学习，从一个大规模通用语言模型开始，逐步在越来越具体的网络威胁领域上进行微调。
• 通过提示工程策略使用 GPT-3 进行数据增强，随后通过人工介入过滤以保持标签保真度并确保语义相关性。
• 通过仅在每个威胁类别上使用 32 个标注实例进行训练，应用少样本学习，利用元学习原理从极少样本中实现泛化。
• 该流水线以级联方式整合迁移学习、数据增强与少样本学习，逐步提升模型性能。
• 由人工专家定义一个过滤边界，剔除与原始标注数据差异过大的生成实例，以维持标签一致性。
• 该方法在基于 2021 年微软 Exchange 服务器漏洞事件构建的新数据集上进行评估，由三位专家进行标注，具有较高的评分者间一致性。

实验结果

研究问题

• RQ1 多层级微调、数据增强与少样本学习的组合能否在极少量标注数据下显著提升专用网络威胁情报分类的 F1 得分？
• RQ2 在训练数据极度有限的情况下，基于 GPT-3 的数据增强结合人工介入过滤，在提升模型鲁棒性与性能方面效果如何？
• RQ3 在低数据量环境下，多层级微调在 CTI 任务中相较于标准微调和最先进少样本学习方法的优越性有多大？
• RQ4 在结合高级微调与少样本学习时，数据增强对模型方差与泛化能力的影响如何？
• RQ5 基于真实世界网络事件构建的新型专家标注数据集，能否作为未来低数据量 CTI 研究的可靠基准？

主要发现

• 所提出方法在微软 Exchange 服务器漏洞事件数据集上，相比标准训练方法，F1 得分提升超过 21 分。
• 该方法相比最先进少样本学习模型，F1 得分高出超过 18 分，证明其在极少数样本下具有更优的泛化能力。
• 仅使用 32 个标注实例通过该流水线训练的分类器，其 F1 得分与在 1,800 个实例上训练的模型相差不超过 5 分。
• 引入基于 GPT-3 的数据增强降低了模型标准差，表明鲁棒性得到提升，尽管在与多层级微调结合时，其对绝对 F1 得分的提升作用较为有限。
• 专家标注数据集表现出较高的评分者间一致性，验证了其质量和对未来专用 CTI 研究的实用性。
• 即使省略数据增强，该方法依然有效，表明多层级微调与少样本学习是性能提升的主要驱动力。