[论文解读] LogBERT: Log Anomaly Detection via BERT

Haixuan Guo, Yuan, Shuhan+1 more|arXiv (Cornell University)|Mar 7, 2021

Software System Performance and Reliability参考文献 24被引用 7

一句话总结

LogBERT 提出了一种基于 BERT 的自监督框架，用于日志异常检测，通过掩码日志键预测和超球体积最小化来学习正常序列模式。在三个基准数据集上，其性能优于当前最先进方法，在 Thunderbird 数据集上 F1 分数最高达到 96.64，在 HDFS 数据集上达到 82.32。

ABSTRACT

Detecting anomalous events in online computer systems is crucial to protect the systems from malicious attacks or malfunctions. System logs, which record detailed information of computational events, are widely used for system status analysis. In this paper, we propose LogBERT, a self-supervised framework for log anomaly detection based on Bidirectional Encoder Representations from Transformers (BERT). LogBERT learns the patterns of normal log sequences by two novel self-supervised training tasks and is able to detect anomalies where the underlying patterns deviate from normal log sequences. The experimental results on three log datasets show that LogBERT outperforms state-of-the-art approaches for anomaly detection.

研究动机与目标

• 为解决基于 RNN 的模型在捕捉日志序列中的双向上下文和全局序列模式方面的局限性。
• 开发一种自监督框架，无需标注异常即可学习正常日志模式。
• 通过结合两种新颖的预训练任务——掩码日志键预测和超球体积最小化，提升异常检测性能。
• 实现在短序列或复杂序列中，传统模型失效时仍能有效检测异常日志序列。

提出的方法

• 使用 BERT 风格的 Transformer 编码器，通过双向上下文编码建模日志序列。
• 应用掩码日志键预测任务，以预测正常序列中随机掩码的日志键。
• 引入超球体积最小化任务，以在嵌入空间中聚类正常日志序列表示。
• 使用特殊标记 [DIST] 表示整个日志序列，用于异常评分。
• 在预训练过程中同时结合两种自监督任务，以学习鲁棒的正常序列表示。
• 使用序列的 [DIST] 标记嵌入与正常序列中心的欧氏距离作为异常分数。

实验结果

研究问题

• RQ1 基于 BERT 的模型是否能通过自监督预训练有效学习正常日志序列模式？
• RQ2 与单目标预训练相比，将掩码日志键预测与超球体积最小化相结合是否能提升异常检测性能？
• RQ3 LogBERT 在具有不同序列长度和正常/异常比例的多样化日志数据集上的表现如何？
• RQ4 这两种自监督预训练任务在表征学习和异常检测中的贡献程度如何？
• RQ5 该模型能否泛化到预训练期间未见过的异常模式？

主要发现

• 在 Thunderbird 数据集上，LogBERT 的 F1 分数达到 96.64，优于所有基线模型。
• 在 HDFS 数据集上，当使用两种自监督任务联合训练时，LogBERT 的 F1 分数达到 82.32，显著优于单任务训练。
• 消融实验表明，结合两种预训练任务的性能优于单独使用任一任务，尤其在短序列上表现更优。
• 使用 LLE 的可视化结果表明，超球体积最小化任务能有效在潜在空间中分离正常与异常序列。
• 参数分析显示，掩码比例在 0.1 至 0.5 范围内可提升性能，而过高比例会导致信息丢失，从而降低性能。
• 该模型对超参数调优具有鲁棒性，在不同 α 值和候选集大小下均保持稳定性能。