[论文解读] A Comprehensive Study of Machine Learning Techniques for Log-Based Anomaly Detection

Shan E Ali, Chaima Boufaied+3 more|arXiv (Cornell University)|Jul 31, 2023

Software System Performance and ReliabilityComputer Science被引用 3

一句话总结

本文通过全面的实证研究，比较了用于基于日志的异常检测（LAD）的传统与深度学习技术在监督与半监督设置下的表现，评估了检测准确率、时间性能以及对超参数调优的敏感性。结果表明，监督学习的传统模型，尤其是随机森林（Random Forest），在准确率、速度和对超参数变化的鲁棒性方面均优于深度学习方法，而半监督方法的检测准确率显著更差。

ABSTRACT

Growth in system complexity increases the need for automated log analysis techniques, such as Log-based Anomaly Detection (LAD). While deep learning (DL) methods have been widely used for LAD, traditional machine learning (ML) techniques can also perform well depending on the context and dataset. Semi-supervised techniques deserve the same attention as they offer practical advantages over fully supervised methods. Current evaluations mainly focus on detection accuracy, but this alone is insufficient to determine the suitability of a technique for a given LAD task. Other aspects to consider include training and prediction times as well as the sensitivity to hyperparameter tuning, which in practice matters to engineers. This paper presents a comprehensive empirical study evaluating a wide range of supervised and semi-supervised, traditional and deep ML techniques across four criteria: detection accuracy, time performance, and sensitivity to hyperparameter tuning in both detection accuracy and time performance. The experimental results show that supervised traditional and deep ML techniques fare similarly in terms of their detection accuracy and prediction time on most of the benchmark datasets considered in our study. Moreover, overall, sensitivity analysis to hyperparameter tuning with respect to detection accuracy shows that supervised traditional ML techniques are less sensitive than deep learning techniques. Further, semi-supervised techniques yield significantly worse detection accuracy than supervised techniques.

研究动机与目标

• 系统评估传统与深度学习技术在基于日志的异常检测（LAD）中的表现，超越单纯的检测准确率。
• 评估超参数调优对不同机器学习技术检测准确率和时间性能的影响。
• 在真实世界基准数据集上，比较监督与半监督方法，包括传统与深度学习模型。
• 基于准确率、效率和鲁棒性，为LAD选择最优机器学习技术提供实用指导。

提出的方法

• 本研究在两个基准数据集（HDFS 和 Hadoop）上评估了四种监督学习技术：SVM、随机森林（Random Forest）、LSTM 和 LogRobust，以及两种半监督技术：OC-SVM 和 DeepLog。
• 使用 Drain 进行日志解析，以提取日志模板，随后将模板分组为固定窗口或滑动窗口，形成模板序列。
• 通过基于索引的编码（用于 DeepLog）或语义向量化（如 FastText、word2vec 与 PPA 结合）提取特征，以表示日志序列。
• 在多个配置下，评估模型训练与预测的检测准确率、训练时间、预测时间以及对超参数调优的敏感性。
• 对所有技术系统性地执行超参数调优，敏感性通过不同设置下性能的方差来衡量。
• 实验在两个广泛使用的公开数据集 HDFS 和 Hadoop 上进行，结果按数据集和不同技术分别分析。

实验结果

研究问题

• RQ1 RQ1：在基于日志的异常检测（LAD）中，监督学习的传统与深度学习技术在检测准确率和时间性能方面如何比较？
• RQ2 RQ2：不同机器学习技术的检测准确率和时间性能对超参数调优的敏感性如何？
• RQ3 RQ3：半监督技术与监督学习方法在检测准确率和性能指标方面相比如何？
• RQ4 RQ4：哪种机器学习技术在不同数据集上实现了准确率、效率和对超参数变化鲁棒性的最佳平衡？

主要发现

• 监督学习的传统与深度学习技术在检测准确率和预测时间方面几乎相同，二者之间无显著性能差距。
• 在 HDFS 和 Hadoop 数据集上，随机森林在检测准确率和时间性能方面对超参数调优的敏感性最低。
• 与 LSTM 和 LogRobust 等深度学习模型相比，监督学习的传统模型（如随机森林和 SVM）在训练和预测时间上显著更短。
• 无论数据集或模型类型如何，半监督方法（OC-SVM 和 DeepLog）的检测准确率均显著低于监督方法。
• 在 HDFS 上，DeepLog 对超参数调优在训练时间方面表现出更高的敏感性，而 OC-SVM 在 Hadoop 上表现出更低的敏感性，表明其行为具有数据集依赖性。
• 在 Hadoop 上，OC-SVM 在检测准确率、训练时间和对超参数的敏感性方面均优于 DeepLog；而在 HDFS 上，DeepLog 的准确率更高、速度更快，且对超参数调优的敏感性更低。