[论文解读] Detecting Log Anomalies with Multi-Head Attention (LAMA)

Yicheng Guo, Yujin Wen+3 more|arXiv (Cornell University)|Jan 7, 2021

Software System Performance and Reliability参考文献 11被引用 6

一句话总结

该论文提出 LAMA，一种用于日志异常检测的轻量级多头自注意力模型，通过利用日志流中的序列模式，无需依赖循环神经网络（RNNs）。通过在下一个事件预测任务上进行训练，LAMA 在 HDFS 数据集上实现了 0.985 的 F1 分数，优于现有的统计方法和深度学习方法，证明了自注意力机制在捕捉日志序列中长距离依赖关系方面的有效性。

ABSTRACT

Anomaly detection is a crucial and challenging subject that has been studied within diverse research areas. In this work, we explore the task of log anomaly detection (especially computer system logs and user behavior logs) by analyzing logs' sequential information. We propose LAMA, a multi-head attention based sequential model to process log streams as template activity (event) sequences. A next event prediction task is applied to train the model for anomaly detection. Extensive empirical studies demonstrate that our new model outperforms existing log anomaly detection methods including statistical and deep learning methodologies, which validate the effectiveness of our proposed method in learning sequence patterns of log data.

研究动机与目标

• 解决现有日志异常检测方法在捕捉长距离依赖关系方面存在的局限性，或因计算复杂度过高而带来的问题。
• 开发一种轻量级、高效的日志异常检测模型，用纯注意力机制替代基于 RNN 的架构。
• 通过使用多头自注意力建模日志事件流中的内在序列模式，提升检测准确率。
• 评估模型在包含未登录词（OOV）事件的现实世界日志数据集上的鲁棒性，此类事件在生产系统中十分常见。

提出的方法

• LAMA 使用受 Transformer 架构启发的多头自注意力机制，以建模日志事件流中的序列依赖关系。
• 通过固定长度 l 的滑动窗口生成日志序列，每个序列用于预测序列中的下一个事件。
• 模型在端到端的下一个事件预测任务上进行训练，其中异常检测被建模为在 top-k 候选事件中未能正确预测下一个事件的情况。
• 该架构不包含解码器头，从而实现轻量化设计，专为日志异常检测而非序列到序列生成而优化。
• 嵌入层将日志事件映射为稠密向量，前馈网络处理注意力后的表示以进行预测。
• 模型使用交叉熵损失在预测任务上进行训练，并通过 dropout 和层归一化实现正则化。

实验结果

研究问题

• RQ1 基于自注意力的模型是否能在不使用 RNN 的情况下，有效学习日志事件序列中的长距离依赖关系？
• RQ2 LAMA 在标准日志异常检测基准上的性能与最先进统计方法和深度学习方法相比如何？
• RQ3 LAMA 对于在真实世界日志数据中常见的未登录词（OOV）事件的鲁棒性如何？
• RQ4 注意力头数量和层数的变化对模型性能和稳定性有何影响？

主要发现

• 在 HDFS 数据集的 80/20 划分上，LAMA 实现了 0.985 的 F1 分数，显著优于基线模型（如孤立森林、PCA 和不变性挖掘）。
• 在包含更多 OOV 事件的 1/99 划分上，LAMA 仍保持优异性能，F1 分数达 0.946，展现出对罕见事件的强鲁棒性。
• 与基于 LSTM 的基线相比，LAMA 收敛速度更快，仅在单张 Tesla V100 GPU 上训练不到一小时。
• 消融实验表明，8 个注意力头和 4–6 层可实现最佳性能，头数过少会导致更高的方差和不稳定性。
• 模型在多次运行中表现稳定，标准差较低，表明其学习行为具有一致性。
• LAMA 的轻量化设计（无解码器）使其比基于序列到序列的模型（如 DeepLog）更高效，同时保持了更优的准确率。