[论文解读] A Survey on Automated Log Analysis for Reliability Engineering

Shilin He, Pinjia He+4 more|arXiv (Cornell University)|Sep 15, 2020

Software System Performance and Reliability参考文献 171被引用 35

一句话总结

对面向可靠性工程的自动化日志分析的全面综述，涵盖日志记录实践、日志压缩、日志解析、日志挖掘、数据集、工具包，以及未来方向。

ABSTRACT

Logs are semi-structured text generated by logging statements in software source code. In recent decades, software logs have become imperative in the reliability assurance mechanism of many software systems because they are often the only data available that record software runtime information. As modern software is evolving into a large scale, the volume of logs has increased rapidly. To enable effective and efficient usage of modern software logs in reliability engineering, a number of studies have been conducted on automated log analysis. This survey presents a detailed overview of automated log analysis research, including how to automate and assist the writing of logging statements, how to compress logs, how to parse logs into structured event templates, and how to employ logs to detect anomalies, predict failures, and facilitate diagnosis. Additionally, we survey work that releases open-source toolkits and datasets. Based on the discussion of the recent advances, we present several promising future directions toward real-world and next-generation automated log analysis.

研究动机与目标

• 推动软件可靠性研究及日志作为运行时数据的关键作用。
• 汇总1997–2020年在日志记录、压缩、解析、挖掘和经验研究方面的158篇论文。
• 突出开源工具包与数据集，并识别实际挑战与行业实践。

提出的方法

• 系统性地从顶级期刊/会议收集关于日志与可靠性的相关文献，使用有针对性的关键词。
• 将调查工作分为五个聚焦领域：日志记录、日志压缩、日志解析、日志挖掘和经验研究。
• 分析趋势、开源资源和实际挑战，以描绘当前技术前沿与空白点。

实验结果

研究问题

• RQ1 面向可靠性工程的自动化日志分析的主要研究方向有哪些？
• RQ2 每个方向主导的技术是什么（静态分析、机器学习、经验研究）？
• RQ3 有哪些可供从业者和研究者使用的开源工具与数据集？
• RQ4 哪些未来方向解决日志记录与日志分析在实际部署中的挑战？

主要发现

• 日志挖掘获得最大的研究份额，驱动因素是其分解的子任务，如异常检测、故障预测和诊断。
• 日志记录实践与维护被积极研究，包括在何处记录、记录什么以及如何记录，并关注可诊断性、性能与可维护性。
• 存在多种日志压缩方法（基于桶、基于字典、基于统计），每种在通用性、可扩展性和启发式方面有权衡。
• 已经发布若干工具和数据集，以支持研究与实践，提升再现性和工业评估。
• 学术进展与实际部署之间存在差距，未来方向强调在现实世界中的适用性和下一代日志分析。