[论文解读] Exploring the Limits of Transfer Learning with Unified Model in the Cybersecurity Domain

Kuntal Kumar Pal, Kazuaki Kashihara+4 more|arXiv (Cornell University)|Feb 20, 2023

Advanced Malware Detection Techniques被引用 5

一句话总结

本文提出 UTS，一种统一的文本到文本转换器模型，通过在多样化的网络安全部分文本（包括恶意软件报告、钓鱼URL、代码片段和论坛帖子）上进行训练，以执行多种自然语言处理任务。该模型在基准数据集上实现了最先进或具有竞争力的性能，并展现出对未见过的任务和数据分布的强大 few-shot 泛化能力，显著降低了低资源环境下的标注成本。

ABSTRACT

With the increase in cybersecurity vulnerabilities of software systems, the ways to exploit them are also increasing. Besides these, malware threats, irregular network interactions, and discussions about exploits in public forums are also on the rise. To identify these threats faster, to detect potentially relevant entities from any texts, and to be aware of software vulnerabilities, automated approaches are necessary. Application of natural language processing (NLP) techniques in the Cybersecurity domain can help in achieving this. However, there are challenges such as the diverse nature of texts involved in the cybersecurity domain, the unavailability of large-scale publicly available datasets, and the significant cost of hiring subject matter experts for annotations. One of the solutions is building multi-task models that can be trained jointly with limited data. In this work, we introduce a generative multi-task model, Unified Text-to-Text Cybersecurity (UTS), trained on malware reports, phishing site URLs, programming code constructs, social media data, blogs, news articles, and public forum posts. We show UTS improves the performance of some cybersecurity datasets. We also show that with a few examples, UTS can be adapted to novel unseen tasks and the nature of data

研究动机与目标

• 通过将多种文本类型（例如恶意软件报告、URL、代码、社交媒体内容）统一到单一模型框架中，解决网络安全部分数据集有限、异构且资源匮乏的挑战。
• 通过使用单一统一模型实现对新任务和数据分布的 few-shot 适应，降低专家标注的高昂成本。
• 建立 13 个经过处理的网络安全部分数据集的基准，全部以文本到文本格式呈现，涵盖八项 NLP 任务，以实现标准化评估与比较。
• 通过使用任务特定提示前缀进行多任务训练，提升现有网络安全部分 NLP 任务的性能，增强模型的鲁棒性和泛化能力。

提出的方法

• 在涵盖八项 NLP 任务（包括文本分类、命名实体识别、关系分类和事件检测）的 13 个多样化网络安全部分数据集上微调 T5-base 生成式转换器模型。
• 使用任务特定提示前缀（例如 'classify: '、'extract entities: '）引导模型在统一的文本到文本框架内执行不同的 NLP 任务。
• 在多任务设置中训练模型，以联合学习来自不同文本类型（自然语言、URL、代码结构、系统日志）的知识，提升泛化能力和可迁移性。
• 采用 few-shot 微调策略，仅使用少量标注样本（例如 16–32 个样本）来评估在未见任务和数据集上的零样本和 few-shot 迁移性能。
• 将现有数据集进行处理和重新格式化，转换为标准化的文本到文本格式，以确保与统一模型架构的兼容性。
• 在 few-shot 实验中采用平衡采样策略，以保持类别分布并减少性能评估中的方差。

Figure 1: Illustration of $UTS$ (Unified Text-to-Text CyberSecurtiy) model

实验结果

研究问题

• RQ1 单一统一模型是否能有效执行跨多样化网络安全部分文本类型（包括自然语言、URL 和代码结构）的多种 NLP 任务？
• RQ2 当仅使用少量标注样本进行微调时，统一模型在新任务上的泛化能力如何？
• RQ3 在异构数据集上进行多任务训练，与专用模型相比，能在多大程度上提升单个网络安全部分 NLP 任务的性能？
• RQ4 当数据分布发生改变时（如预训练中未见过的新文本类型或领域），模型的鲁棒性如何？
• RQ5 该统一方法是否能通过支持在新任务和数据源上的有效 few-shot 适应，显著降低标注成本？

主要发现

• UTS 在两个基准数据集（MalwareTextDB-2 和 Phishstorm）上实现了最先进或具有竞争力的性能，优于以往方法在句子分类和 URL 检测任务中的表现。
• 模型展现出强大的 few-shot 泛化能力，在每类仅 16 个标注样本的情况下即实现了有意义的性能表现。
• 多任务训练相比单独训练各模型，显著提升了各项任务的性能，表明共享表征学习增强了模型的鲁棒性。
• 模型能有效泛化到新的数据分布，在论坛帖子、新闻文章和社会媒体内容等不同文本类型上均表现出一致的性能。
• 13 个以文本到文本格式处理的数据集构成的基准，为网络安全部分 NLP 领域未来模型的标准化评估提供了框架。
• 使用任务特定提示前缀使模型能够在单一架构内清晰区分并执行多样化的 NLP 任务，验证了统一框架的有效性。

Figure 2: CLS Example Predictions: MDB and CASIE