[论文解读] LogGPT: Exploring ChatGPT for Log-Based Anomaly Detection

Jiaxing Qi, Shaohan Huang+4 more|arXiv (Cornell University)|Sep 3, 2023

Software System Performance and ReliabilityComputer Science被引用 3

一句话总结

LogGPT 提出了一种新颖的框架，通过结合日志预处理、特定任务的提示工程以及响应解析，利用 ChatGPT 实现基于日志的异常检测。该框架在 BGL 和 Spirit 数据集上实现了有前景的零样本和少样本性能，同时具备高度可解释性，但面临误报率高和提示敏感性等挑战。

ABSTRACT

The increasing volume of log data produced by software-intensive systems makes it impractical to analyze them manually. Many deep learning-based methods have been proposed for log-based anomaly detection. These methods face several challenges such as high-dimensional and noisy log data, class imbalance, generalization, and model interpretability. Recently, ChatGPT has shown promising results in various domains. However, there is still a lack of study on the application of ChatGPT for log-based anomaly detection. In this work, we proposed LogGPT, a log-based anomaly detection framework based on ChatGPT. By leveraging the ChatGPT's language interpretation capabilities, LogGPT aims to explore the transferability of knowledge from large-scale corpora to log-based anomaly detection. We conduct experiments to evaluate the performance of LogGPT and compare it with three deep learning-based methods on BGL and Spirit datasets. LogGPT shows promising results and has good interpretability. This study provides preliminary insights into prompt-based models, such as ChatGPT, for the log-based anomaly detection task.

研究动机与目标

• 探索使用类似 ChatGPT 的大语言模型进行基于日志的异常检测的可行性和有效性。
• 解决日志异常检测中的挑战，如高维数据、类别不平衡和模型可解释性问题。
• 设计一种基于提示的框架，将通用领域大语言模型的知识迁移至系统日志分析。
• 与已有的深度学习基线模型对比，评估 LogGPT 的性能和可解释性。

提出的方法

• 日志预处理包括过滤、解析和将原始日志消息分组为结构化序列，以供模型输入。
• 提示构建通过定制化指令和人工知识注入（例如，正常日志示例）来引导 ChatGPT 的异常检测行为。
• 响应解析器用于提取并解释 ChatGPT 的输出，将日志分类为正常或异常。
• 该框架在零样本或少样本设置下运行，依赖上下文学习而无需微调。
• 窗口大小用于控制输入模型的日志序列上下文长度。
• 性能通过 F1 分数和 AUC 等标准指标在 BGL 和 Spirit 数据集上进行评估。

Figure 2: The framework of LogGPT to perform log-based anomaly detection.

实验结果

研究问题

• RQ1 ChatGPT 在零样本和少样本设置下进行基于日志的异常检测的当前能力如何？
• RQ2 提示设计（特别是任务描述和正常日志示例的注入）如何影响检测性能？
• RQ3 窗口大小如何影响 LogGPT 框架的性能？
• RQ4 LogGPT 检测到的异常具有多高的可解释性？是否能提供可操作的洞察？

主要发现

• 提示构建显著影响性能，更具体的任务描述以及引入正常日志示例可提升检测准确率。
• 较大的窗口尺寸通常带来更好的性能，表明更长的上下文有助于提升异常检测能力。
• LogGPT 在 BGL 和 Spirit 数据集上与 DeepLog、LogAnomaly 和 LogRobust 等深度学习基线模型相比，表现出具有竞争力的性能。
• LogGPT 通过提供详细的异常解释，包括根本原因分析和预防性建议，展现出强大的可解释性。
• 尽管性能出色，LogGPT 仍表现出较高的误报率，常将正常日志序列误判为异常。
• 该模型对提示变化敏感，且 ChatGPT 中的幻觉问题可能导致不可靠或错误的输出。

Figure 3: An example of log parsing .