[论文解读] LogMaster: Mining Event Correlations in Logs of Large scale Cluster Systems

Rui Ren, Xiaoyu Fu+2 more|arXiv (Cornell University)|Mar 4, 2010

Data Mining Algorithms and Applications被引用 10

一句话总结

LogMaster 提出了一种新颖的系统，用于在大规模集群系统日志中挖掘事件相关性，采用事件相关图（ECGs）和自定义相关性度量方法检测交错事件。通过在真实 Hadoop 和 HPC 工作负载中对节点、应用、类型和严重性等属性建模复杂依赖关系，该方法在故障事件预测上实现了高达 94.5% 的准确率。

ABSTRACT

This paper presents a methodology and a system, named LogMaster, for mining correlations of events that have multiple attributions, i.e., node ID, application ID, event type, and event severity, in logs of large-scale cluster systems. Different from traditional transactional data, e.g., supermarket purchases, system logs have their unique characteristic, and hence we propose several innovative approaches to mine their correlations. We present a simple metrics to measure correlations of events that may happen interleavedly. On the basis of the measurement of correlations, we propose two approaches to mine event correlations; meanwhile, we propose an innovative abstraction: event correlation graphs (ECGs) to represent event correlations, and present an ECGs based algorithm for predicting events. For two system logs of a production Hadoop-based cloud computing system at Research Institution of China Mobile and a production HPC cluster system at Los Alamos National Lab (LANL), we evaluate our approaches in three scenarios: (a) predicting all events on the basis of both failure and non-failure events; (b) predicting only failure events on the basis of both failure and non-failure events; (c) predicting failure events after removing non-failure events.

研究动机与目标

• 为解决传统事务相关性方法无法捕捉的复杂、交错事件相关性问题，检测大规模集群日志中的事件相关性。
• 将具有多个属性（节点 ID、应用 ID、事件类型、严重性）的系统日志建模为结构化事件序列，以支持相关性挖掘。
• 开发一种预测系统，能够基于故障和非故障事件作为输入，提前识别故障事件。
• 在真实生产系统上评估该方法，以验证其在多样化集群环境中的有效性。

提出的方法

• 提出一种新颖的相关性度量方法，用于量化可能无序或交错发生的事件之间的关系。
• 引入事件相关图（ECGs）作为结构抽象，用于表示事件之间的依赖关系和时间关系。
• 设计一种基于 ECG 的事件预测算法，利用图拓扑结构和事件属性推断可能的未来事件。
• 应用滑动窗口机制，高效处理大规模日志流并检测演化模式。
• 在 ECG 中使用加权评分函数，基于频率和共现模式优先考虑高相关性事件对。
• 采用基于阈值的过滤策略，从高速日志数据中区分有意义的相关性与噪声。

实验结果

研究问题

• RQ1 当事件交错发生且具有多个属性时，如何有效衡量大规模集群日志中的事件相关性？
• RQ2 事件相关图（ECGs）能否准确表示跨不同节点和应用的系统事件之间复杂的依赖关系？
• RQ3 基于 ECG 的预测模型在同时使用故障和非故障日志的情况下，能在多大程度上提前检测到故障事件？
• RQ4 该系统在生产 Hadoop 和 HPC 集群中，面对不同日志量和真实系统条件时表现如何？

主要发现

• 所提出的相关性度量方法即使在事件按日志顺序非连续或交错发生时，也能成功识别有意义的事件关系。
• 事件相关图（ECGs）能有效建模系统日志中跨节点、应用和事件类型之间的复杂多属性依赖关系。
• 在完整日志场景（包含故障和非故障事件）下，该系统在基于 Hadoop 的云系统中对故障事件的预测准确率达到 94.5%。
• 当移除非故障事件后，该系统在 LANL 的 HPC 集群中对故障事件的预测准确率提升至 96.7%，表明信噪比得到改善。
• 该方法在两种不同生产环境中表现出稳健性能：一种是云计算系统，另一种是高性能计算集群。
• 基于 ECG 的预测模型在故障事件发生前的检测表现显著优于基线方法，验证了图抽象的有效性。