[论文解读] GPT-2C: A GPT-2 parser for Cowrie honeypot logs

Febrian Setianto, Erion Tsani+4 more|arXiv (Cornell University)|Sep 14, 2021

Software System Performance and Reliability参考文献 17被引用 5

一句话总结

本文提出 GPT-2C，一种微调后的 GPT-2 语言模型，通过将日志解析视为问答任务，解析来自 Cowrie SSH 捕鲸器的动态非结构化日志。该系统在样本外测试数据上实现了 89% 的 F1 分数，推理延迟可接受，可实现 SIEM 和 EDR 集成的自动化、领域自适应日志提取。

ABSTRACT

Deception technologies like honeypots produce comprehensive log reports, but often lack interoperability with EDR and SIEM technologies. A key bottleneck is that existing information transformation plugins perform well on static logs (e.g. geolocation), but face limitations when it comes to parsing dynamic log topics (e.g. user-generated content). In this paper, we present a run-time system (GPT-2C) that leverages large pre-trained models (GPT-2) to parse dynamic logs generate by a Cowrie SSH honeypot. Our fine-tuned model achieves 89\% inference accuracy in the new domain and demonstrates acceptable execution latency.

研究动机与目标

• 为解决由于动态、非结构化日志内容导致的捕鲸器日志与 SIEM/EDR 工具之间互操作性不足的问题。
• 在不依赖静态模板或标注训练数据的情况下，自动化解析 Cowrie 日志中攻击者生成的命令和工具。
• 评估使用大规模预训练语言模型在网络安全领域特定日志解析中的可行性。
• 通过采用 AI 驱动的可适应系统替代基于规则或模板的解析器，减少日志转换中的手动工作量。

提出的方法

• 在包含 2019 年 5 月至 2020 年 2 月期间 Cowrie 日志（JSON 格式）的 CyberLab 捕鲸网数据集上微调 GPT-2 模型。
• 将日志解析重新定义为基于跨度的问答任务，模型从攻击者日志行中预测工具或命令。
• 通过基于 FastAPI 的推理服务器部署模型，接收 JSON 载荷，执行实时推理，并返回带有置信度分数的预测结果。
• 将系统集成到使用 Logstash 进行日志摄入、Elasticsearch 进行索引、Kibana 进行可视化和监控的流水线中。
• 在启动时仅将预训练的 GPT-2 模型加载到内存一次，以实现在接收攻击者命令时的低延迟推理。
• 使用双学习曲线分析验证训练过程中的模型收敛性和泛化能力。

实验结果

研究问题

• RQ1 微调后的 GPT-2 模型能否以高准确率有效解析来自 Cowrie 捕鲸器的动态非结构化日志内容？
• RQ2 与传统的基于模板或基于规则的日志解析方法相比，基于 GPT-2 的解析器在准确率和适应性方面表现如何？
• RQ3 在真实、生产环境下的实时部署中，该模型的推理延迟是多少？
• RQ4 该模型是否能在无需大量重新训练或标注数据的情况下泛化到样本外日志数据？

主要发现

• GPT-2C 模型在样本外测试集上实现了 89.827% 的 F1 分数，表明其在解析动态日志内容方面表现优异。
• 训练和验证损失曲线显示良好的拟合度，损失范围在 0.07 到 0.10 之间，表明模型收敛稳定。
• 推理延迟可接受，响应时间的 99 百分位数在 100 次中有 1 次达到最多 4 秒，而大多数响应时间低于 1 秒。
• 该系统成功提取并分类了攻击者使用的工具和命令，顶级预测结果已在 Kibana 仪表板中可视化。
• 使用 FastAPI 的部署架构支持并发推理，并将日志处理与模型推理解耦，提升了系统的可扩展性和可维护性。