[论文解读] Summarizing Unstructured Logs in Online Services

Weibin Meng, Federico Zaiter+11 more|arXiv (Cornell University)|Dec 16, 2020

Software System Performance and Reliability参考文献 42被引用 9

一句话总结

本文提出 LogSummary，一种用于在线服务中自动日志摘要的无监督端到端框架，通过结合语义知识与领域知识，从非结构化日志中提取并排序语义三元组。该方法在基准数据集上取得了 0.741 的高 ROUGE F1 分数，并提供了公开的黄金标准数据集以支持未来研究。

ABSTRACT

Logs are one of the most valuable data sources for managing large-scale online services. After a failure is detected/diagnosed/predicted, operators still have to inspect the raw logs to gain a summarized view before take actions. However, manual or rule-based log summarization has become inefficient and ineffective. In this work, we propose LogSummary, an automatic, unsupervised end-to-end log summarization framework for online services. LogSummary obtains the summarized triples of important logs for a given log sequence. It integrates a novel information extraction method taking both semantic information and domain knowledge into consideration, with a new triple ranking approach using the global knowledge learned from all logs. Given the lack of a publicly-available gold standard for log summarization, we have manually labelled the summaries of four open-source log datasets and made them publicly available. The evaluation on these datasets as well as the case studies on real-world logs demonstrate that LogSummary produces a highly representative (average ROUGE F1 score of 0.741) summaries. We have packaged LogSummary into an open-source toolkit and hope that it can benefit for future NLP-powered summarization works.

研究动机与目标

• 解决大规模在线服务中手动或基于规则的日志摘要方法效率低下且不准确的问题。
• 开发一种自动化的无监督方法，从非结构化日志序列中生成可解释、人类可读的摘要。
• 克服由于领域特定语法、数据量大以及缺乏标注数据而导致的三元组提取挑战。
• 创建一个公开可用的黄金标准日志摘要数据集，以支持未来自然语言处理研究。
• 使运维人员能够通过总结关键实体、事件及其关系，快速理解与故障相关的日志。

提出的方法

• LogSummary 使用一种新颖的信息抽取方法 LogIE，结合语义解析与领域特定知识，从日志中提取结构化的三元组（主语，关系，宾语）。
• 利用基于所有历史日志训练的全局知识模型，按重要性对提取的三元组进行排序，优先选择与故障上下文最相关的三元组。
• 三元组排序机制基于文本图模型（TextRank 风格），在从日志序列构建的加权三元组图上进行图-based 排序。
• LogIE 采用混合方法，结合基于规则的模式匹配与神经语义建模，以提高在非标准语法和领域特定符号日志上的准确性。
• 该框架为端到端设计，可直接处理原始日志序列，无需预解析或外部标注。
• 作者将 LogSummary 作为开源工具包发布，并提供了来自四个开源日志集合的手动标注黄金标准数据集。

实验结果

研究问题

• RQ1 无监督端到端框架能否以高保真度有效总结在线服务中的非结构化日志？
• RQ2 结合语义与领域知识的信息抽取方法在具有非标准语法和领域术语的日志上表现如何？
• RQ3 来自所有历史日志的全局知识在多大程度上提升了日志序列中关键三元组的排序质量？
• RQ4 所提出的方法在准确率和效率方面是否优于基于规则和现有 NLP 的摘要技术？
• RQ5 该框架在多样化的实际生产环境和开源日志数据集上是否具备良好的泛化能力？

主要发现

• LogSummary 在四个公开日志数据集上实现了平均 0.741 的 ROUGE F1 分数，表明其摘要质量很高。
• 在真实世界的交换机日志数据集上，LogIE 的 F1 得分为 0.831，其吞吐量比基线 OpenIE 方法高出 100% 以上，准确率也高出两倍。
• 该框架成功提取了可解释的三元组，如（'接口', '更改为', '关闭'），这些三元组在语义上具有意义且可操作。
• 案例研究证实，运维人员验证了生成的摘要具有实用性，且能准确反映故障状态。
• 引入来自全部日志的全局知识显著提升了关键三元组的排序质量，从而实现了对故障相关事件的优先排序。
• LogSummary 及其手动标注的黄金标准数据集的开源发布，为日志摘要与 AIOps 领域的未来研究奠定了基础。