[论文解读] A2Log: Attentive Augmented Log Anomaly Detection

Thorsten Wittkopp, Alexander Acker+5 more|arXiv (Cornell University)|Sep 20, 2021

Software System Performance and Reliability参考文献 26被引用 6

一句话总结

A2Log 提出了一种无监督的日志异常检测方法，利用自注意力神经网络进行异常评分，并通过数据增强实现决策边界学习，无需依赖异常样本。该方法仅使用正常训练数据，即可达到与最优基线相当的 F1 分数，在三个公开数据集和一个工业数据集上均优于 DeepLog 和 3-Sigma。

ABSTRACT

Anomaly detection becomes increasingly important for the dependability and serviceability of IT services. As log lines record events during the execution of IT services, they are a primary source for diagnostics. Thereby, unsupervised methods provide a significant benefit since not all anomalies can be known at training time. Existing unsupervised methods need anomaly examples to obtain a suitable decision boundary required for the anomaly detection task. This requirement poses practical limitations. Therefore, we develop A2Log, which is an unsupervised anomaly detection method consisting of two steps: Anomaly scoring and anomaly decision. First, we utilize a self-attention neural network to perform the scoring for each log message. Second, we set the decision boundary based on data augmentation of the available normal training data. The method is evaluated on three publicly available datasets and one industry dataset. We show that our approach outperforms existing methods. Furthermore, we utilize available anomaly examples to set optimal decision boundaries to acquire strong baselines. We show that our approach, which determines decision boundaries without utilizing anomaly examples, can reach scores of the strong baselines.

研究动机与目标

• 解决无监督日志异常检测方法在设置最优决策边界时需要异常样本的局限性。
• 开发一种完全无监督的方法，仅使用正常训练数据完成异常评分和决策边界确定。
• 在多样化的现实世界数据集（包括一个工业数据集）上评估该方法，以证明其鲁棒性和性能。
• 证明通过数据增强实现的无监督决策边界学习可达到依赖标注异常样本的基线方法的性能。
• 实现在生产环境中实际部署的可行性，其中标注的异常样本稀缺或不可用。

提出的方法

• 使用自注意力变换器编码器基于日志消息的序列上下文生成其异常评分。
• 通过以概率 p=0.95 将单个标记替换为未知标记（UNK）的方式对正常日志序列进行数据增强。
• 分析模型对这些增强输入的响应，以确定异常分类的决策边界。
• 通过可调参数 α、p 和 β 的参数化函数 a(·) 计算决策边界，其中 α=1 和 p=0.95 在所有数据集中保持固定。
• 训练期间使用加权采样器，以平衡正常日志与稳定化类别样本之间的类别分布。
• 最终通过将异常评分与从模型在增强数据上的行为中推导出的阈值 ε 进行比较，做出异常判断。

实验结果

研究问题

• RQ1 无监督异常检测方法是否能在不使用任何异常样本的情况下，实现与最优基线相当的性能？
• RQ2 在缺乏异常样本的情况下，数据增强在模拟正常偏差以学习稳健决策边界方面的有效性如何？
• RQ3 所提出的方法在具有不同数据特征和概念漂移的多样化日志数据集上是否能保持高性能？
• RQ4 是否能仅通过分析模型在增强输入上的响应，仅使用正常训练数据可靠地学习决策边界？
• RQ5 该方法对超参数选择的敏感性如何？是否能在极少调优的情况下在不同数据集上实现泛化？

主要发现

• 在 BGL、Thunderbird 和 Spirit 数据集的所有训练划分（10%、20%、40%、60%）中，A2Log 的 F1 分数与最佳可能基线（Best）相当。
• 在工业数据集中，A2Log 超过了 3-Sigma 基线，并在训练数据有限的情况下达到了最优决策边界的性能。
• 尽管 BGL 数据集存在概念漂移，A2Log 仍保持了强劲性能，尽管在极小的训练集上性能略有下降。
• 参数 α=1 和 p=0.95 在所有数据集中均表现稳健，表明对超参数调优的敏感性较低。
• A2Log 在所有评估的数据集和训练数据比例下，始终优于 DeepLog 和 3-Sigma。
• 该方法表明，通过数据增强实现的无监督决策边界学习，可在无需标注异常数据的情况下，有效模拟真实世界中的异常。