[论文解读] Deep Convolutional Neural Networks for Anomaly Event Classification on Distributed Systems

Jiechao Cheng, Rui Ren+2 more|arXiv (Cornell University)|Oct 25, 2017

Anomaly Detection Techniques and Applications参考文献 28被引用 3

一句话总结

本文提出了一种新颖的日志预处理方法，结合深度卷积神经网络（CNNs），用于在分布式系统中实现异常事件的自动化分类。通过过滤关键日志特征并利用最先进的CNN架构，该方法实现了98.14%的分类精确率，显著优于传统机器学习方法。

ABSTRACT

The increasing popularity of server usage has brought a plenty of anomaly log events, which have threatened a vast collection of machines. Recognizing and categorizing the anomalous events thereby is a much salient work for our systems, especially the ones generate the massive amount of data and harness it for technology value creation and business development. To assist in focusing on the classification and the prediction of anomaly events, and gaining critical insights from system event records, we propose a novel log preprocessing method which is very effective to filter abundant information and retain critical characteristics. Additionally, a competitive approach for automated classification of anomalous events detected from the distributed system logs with the state-of-the-art deep (Convolutional Neural Network) architectures is proposed in this paper. We measure a series of deep CNN algorithms with varied hyper-parameter combinations by using standard evaluation metrics, the results of our study reveals the advantages and potential capabilities of the proposed deep CNN models for anomaly event classification tasks on real-world systems. The optimal classification precision of our approach is 98.14%, which surpasses the popular traditional machine learning methods.

研究动机与目标

• 为解决大规模分布式系统在生成海量日志数据背景下分类异常事件的挑战。
• 通过用深度学习替代或增强传统机器学习方法，提高异常检测的准确性和自动化程度。
• 开发一种有效的日志预处理技术，保留关键系统特征的同时过滤冗余信息。
• 使用真实系统日志对深度CNN架构进行评估与优化，以实现异常分类。
• 建立一个基于深度学习的异常分类基准，其性能优于传统方法。

提出的方法

• 提出一种新颖的日志预处理方法，以过滤冗余信息，仅保留下游分类所需的关键日志特征。
• 采用深度卷积神经网络（CNN）架构作为核心分类模型，用于检测和分类异常事件。
• 通过训练和评估多种具有不同超参数配置的CNN变体，识别最优性能设置。
• 使用精确率、召回率和F1分数等标准评估指标，衡量模型在真实系统日志数据上的有效性。
• 通过卷积层实现特征提取与表征学习，自动检测指示异常的模式。
• 通过系统性实验优化模型架构与超参数，以最大化分类精确率。

实验结果

研究问题

• RQ1 基于深度CNN的方法是否能在从分布式系统日志中分类异常事件方面优于传统机器学习方法？
• RQ2 所提出的日志预处理方法在提升特征表征能力的同时减少日志噪声方面的有效性如何？
• RQ3 在异常分类背景下，深度CNN模型的最优超参数配置是什么？
• RQ4 深度学习模型在真实分布式系统中实现高精确率异常事件分类的潜力有多大？
• RQ5 哪些日志数据的关键特征对实现高精度异常检测贡献最大？

主要发现

• 所提出的深度CNN模型实现了98.14%的分类精确率，表现出优于传统机器学习方法的卓越性能。
• 优化后的日志预处理方法有效减少了噪声并保留了显著特征，提升了模型的泛化能力与精确率。
• 不同的超参数组合显著影响模型性能，某些配置可带来显著更高的精确率。
• 深度CNN架构成功学习了日志序列中的复杂模式，实现了对异常事件的精确检测。
• 结果证实，深度学习模型在大规模分布式系统中实现自动化异常分类方面极为有效。