[论文解读] A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We?

Zhihan Jiang, Jinyang Liu+7 more|arXiv (Cornell University)|Aug 21, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文介绍了 Loghub-2.0，一个大规模、基于真实场景的标注日志集合数据集，包含14个标注日志集合（平均每个约360万行），并对15种最先进的日志解析器进行了严格评估。该研究提出了一种新的模板级别度量方法，以缓解类别不平衡问题，并揭示了现有解析器在罕见日志模板和参数密集型日志模板上的关键性能差距，凸显了在实际部署中改进设计的必要性。

ABSTRACT

Log data have facilitated various tasks of software development and maintenance, such as testing, debugging and diagnosing. Due to the unstructured nature of logs, log parsing is typically required to transform log messages into structured data for automated log analysis. Given the abundance of log parsers that employ various techniques, evaluating these tools to comprehend their characteristics and performance becomes imperative. Loghub serves as a commonly used dataset for benchmarking log parsers, but it suffers from limited scale and representativeness, posing significant challenges for studies to comprehensively evaluate existing log parsers or develop new methods. This limitation is particularly pronounced when assessing these log parsers for production use. To address these limitations, we provide a new collection of annotated log datasets, denoted Loghub-2.0, which can better reflect the characteristics of log data in real-world software systems. Loghub-2.0 comprises 14 datasets with an average of 3.6 million log lines in each dataset. Based on Loghub-2.0, we conduct a thorough re-evaluation of 15 state-of-the-art log parsers in a more rigorous and practical setting. Particularly, we introduce a new evaluation metric to mitigate the sensitivity of existing metrics to imbalanced data distributions. We are also the first to investigate the granular performance of log parsers on logs that represent rare system events, offering in-depth details for software diagnosis. Accurately parsing such logs is essential, yet it remains a challenge. We believe this work could shed light on the evaluation and design of log parsers in practical settings, thereby facilitating their deployment in production systems.

研究动机与目标

• 解决现有日志解析基准（如 Loghub-2k）存在的规模小、真实日志分布代表性差的局限性。
• 构建一个大规模、真实的日志数据集（Loghub-2.0），更好地反映生产环境中日志数据的规模与多样性。
• 提出一种新的评估协议，采用模板级别度量方法，降低对类别不平衡数据分布的敏感性。
• 全面评估最先进的日志解析器在罕见和参数密集型日志模板上的性能，这些模板对系统诊断至关重要。
• 通过识别当前日志解析器在效率和复杂日志模式处理方面的关键缺陷，为未来研究提供指导。

提出的方法

• 设计了一套严格的标注框架，由五位经验丰富的研究人员共同参与，确保在14个真实系统中对日志模板和参数的标注具有高准确性和一致性。
• 构建了 Loghub-2.0，一个全新的基准数据集，包含总计超过5000万行日志的14个日志集合，每个数据集均真实反映了实际系统特征。
• 提出了一种新的评估指标——模板级别 F1 分数，有效缓解了类别不平衡带来的偏差，提供了对罕见模板上解析器性能更准确的评估。
• 实施了一套统一的基准测试协议，从多个维度评估解析器性能：整体准确率、罕见模板上的表现、参数密集型模板上的表现，以及效率。
• 利用 Loghub-2.0 对15种最先进的日志解析器进行了大规模重新评估，所有工具均经过超参数调优和一致实现。
• 分析了解析器在不同日志特征（如出现频率和参数数量）下的行为，以发现隐藏的性能问题。

实验结果

研究问题

• RQ1 与在 Loghub-2k 上报告的结果相比，现有日志解析器在大规模真实日志数据上的表现如何？
• RQ2 当前日志解析器在罕见日志模板和参数密集型日志模式上的表现如何？这些模板对系统诊断至关重要。
• RQ3 所提出的模板级别 F1 度量方法在减少日志解析评估中类别不平衡带来的偏差方面有多有效？
• RQ4 当前日志解析器在大规模生产环境中的关键性能瓶颈是什么？特别是在效率和边缘情况下的准确率方面？
• RQ5 未来日志解析技术应如何改进，以更好地处理真实系统中罕见和复杂的日志模式？

主要发现

• 尽管在 Loghub-2k 上表现良好，但包括 Drain、Logram 和 LogPPT 等最先进的日志解析器，在罕见日志模板（尤其是错误或严重级别）上的性能显著下降。
• 日志解析器在参数密集型模板上的准确率表现较差，部分工具在参数超过10个的模板上 F1 分数低于50%，表明其在处理复杂日志结构方面存在重大缺陷。
• 所提出的模板级别 F1 度量方法有效降低了对类别不平衡的敏感性，揭示了传统消息级别度量方法所掩盖的性能差异。
• 许多解析器无法满足真实世界中的效率要求，其处理时间超过大规模日志流的可接受阈值，尤其在高吞吐量数据场景下更为明显。
• 基于语义的解析器在区分参数与模板方面表现出更强的能力，但由于缺乏全局上下文，其分组能力较弱，提示需要整合统计信息与语义信息。
• 本研究发现，当前日志解析器并未针对生产环境部署进行优化，尤其在诊断罕见和复杂系统事件方面存在明显不足，呼吁在解析器设计范式上进行根本性变革。