[论文解读] An Assessment of ChatGPT on Log Data

Priyanka Mudgal, Rita H. Wouhaybi|arXiv (Cornell University)|Sep 14, 2023

Software System Performance and ReliabilityComputer Science被引用 3

一句话总结

本文通过在真实日志数据集上使用自定义设计的提示词，评估了ChatGPT在日志解析、日志分析和日志摘要生成方面的性能。结果表明，其在日志解析和安全信息提取方面表现良好，但在API检测、异常识别、可扩展性（受令牌限制）以及高延迟方面存在显著局限，凸显了在实时日志处理应用中面临的关键挑战。

ABSTRACT

Recent development of large language models (LLMs), such as ChatGPT has been widely applied to a wide range of software engineering tasks. Many papers have reported their analysis on the potential advantages and limitations of ChatGPT for writing code, summarization, text generation, etc. However, the analysis of the current state of ChatGPT for log processing has received little attention. Logs generated by large-scale software systems are complex and hard to understand. Despite their complexity, they provide crucial information for subject matter experts to understand the system status and diagnose problems of the systems. In this paper, we investigate the current capabilities of ChatGPT to perform several interesting tasks on log data, while also trying to identify its main shortcomings. Our findings show that the performance of the current version of ChatGPT for log processing is limited, with a lack of consistency in responses and scalability issues. We also outline our views on how we perceive the role of LLMs in the log processing discipline and possible next steps to improve the current capabilities of ChatGPT and the future LLMs in this area. We believe our work can contribute to future academic research to address the identified issues.

研究动机与目标

• 评估当前ChatGPT在处理真实世界日志数据方面，于关键软件工程任务中的能力。
• 识别ChatGPT在大规模处理复杂、非结构化日志消息时的局限性。
• 研究在无需微调的情况下，使用零样本提示和少样本提示处理日志特定任务的可行性。
• 评估将类似ChatGPT的大型语言模型部署到实时日志分析流水线中的实际挑战。
• 为未来研究提供基础，通过结构化评估和提示设计提升大型语言模型在日志处理中的表现。

提出的方法

• 设计了七个针对特定日志处理任务的提示：日志解析、API检测、错误摘要生成、安全威胁检测、异常识别、事件预测和日志摘要生成。
• 将提示应用于真实日志数据集（如Loghub），使用原始、非结构化的日志消息来评估零样本性能。
• 从多个维度评估响应结果：准确性、完整性、一致性以及响应时间。
• 通过测试单次API调用可处理的日志消息最大数量来衡量可扩展性（受令牌限制，约为190–200条消息）。
• 分析不同输入规模下的延迟，观察到响应时间从几秒到几分钟不等。
• 通过评估处理过程中是否暴露或保留了敏感数据（如IP地址、URL、用户ID）来评估隐私风险。

实验结果

研究问题

• RQ1 在不进行微调的情况下，ChatGPT能否准确从非结构化日志消息中提取日志模板和变量？
• RQ2 ChatGPT在从原始日志中检测频繁调用的API、安全威胁和系统异常方面的有效性如何？
• RQ3 当单个提示处理大量日志数据时，ChatGPT的可扩展性极限是什么？
• RQ4 随着日志量的增加，响应延迟如何变化？其是否能够支持实时日志分析？
• RQ5 将日志数据发送到第三方大型语言模型API（如ChatGPT）会带来哪些隐私风险？

主要发现

• ChatGPT在日志解析方面表现出色，能够以高准确率从原始日志消息中成功提取模板和变量。
• 该模型在检测和提取IP地址、URL和用户ID等敏感信息方面表现出一致性，表明其具备强大的隐私和安全分析能力。
• 在API检测和事件预测任务中性能显著下降，多个关键API和事件在响应中被遗漏。
• 异常检测结果不一致，ChatGPT在多个测试案例中未能识别出已知异常，尤其是在复杂或嘈杂的日志序列中。
• 响应延迟随输入规模增加而显著上升，处理较大日志批次时响应时间从几秒到几分钟不等，限制了其在实时场景中的适用性。
• 模型的令牌限制导致每次提示最多只能处理约190–200条日志消息，对工业规模日志分析构成了重大可扩展性障碍。