[论文解读] Arbitrary Discrete Sequence Anomaly Detection with Zero Boundary LSTM

Chase Roberts, Manish Nair|arXiv (Cornell University)|Mar 6, 2018

Anomaly Detection Techniques and Applications参考文献 10被引用 3

一句话总结

本文提出了一种新颖的零边界LSTM自编码器，结合单类SVM，用于稳定且数学上严谨的离散序列异常检测。通过建模序列的概率分布并利用上下文向量定义异常边界，该方法在合成IPv4和JSON数据集上相较于标准LSTM和滑动窗口方法，展现出更优的稳定性和性能。

ABSTRACT

We propose a simple mathematical definition and new neural architecture for finding anomalies within discrete sequence datasets. Our model comprises of a modified LSTM autoencoder and an array of One-Class SVMs. The LSTM takes in elements from a sequence and creates context vectors that are used to predict the probability distribution of the following element. These context vectors are then used to train an array of One-Class SVMs. These SVMs are used to determine an outlier boundary in context space.We show that our method is consistently more stable and also outperforms standard LSTM and sliding window anomaly detection systems on two generated datasets.

研究动机与目标

• 基于条件概率为零，定义离散序列中异常的正式、理论标准。
• 解决标准LSTM异常检测因预测概率方差过高而导致的不稳定性问题。
• 开发一种神经架构，以在离散序列中生成稳定的决策边界用于异常检测。
• 在结构化离散数据上，提升对滑动窗口和标准LSTM方法的鲁棒性和性能。
• 实现在网络安全和系统监控等实际应用中可靠异常检测的能力。

提出的方法

• 该模型使用改进的LSTM自编码器从输入序列生成上下文向量，以捕捉序列依赖性。
• 每个上下文向量表示处理序列前缀后的隐藏状态，编码上下文信息。
• 这些上下文向量用于训练一组单类SVM，以在潜在空间中学习决策边界。
• 当序列的最终上下文向量落在学习到的边界之外时，即判定为异常，表示下一个元素的预测概率为零。
• 系统采用可变的OCSVM决策函数截断点，实现独立于零中心边界的灵活阈值设定。
• 该方法基于理论定义：若任一元素在给定其前缀的条件下条件概率为零，则判定序列为异常。

实验结果

研究问题

• RQ1 能否通过深度学习方法推导并实现离散序列中异常的正式、基于概率的定义？
• RQ2 使用LSTM自编码器生成的上下文向量结合OCSVM，是否能产生比标准LSTM异常检测更稳定的决策边界？
• RQ3 所提出的方法在检测长距离依赖关系和结构异常方面，与滑动窗口和n-gram基线方法相比表现如何？
• RQ4 该模型在不同训练轮次和超参数设置下，性能和稳定性保持程度如何？
• RQ5 该方法能否检测到标准模型所遗漏的结构违规异常（例如，错误语法、格式错误的分组）？

主要发现

• 在IPv4数据集中，零边界LSTM在所有异常类别中均优于标准LSTM，尤其在检测格式错误的数字分组和点号位置错误方面表现更优。
• 在JSON数据集中，尽管采用更简单的架构和训练设置，零边界LSTM的性能几乎与标准LSTM持平。
• 零边界LSTM在训练轮次中表现出显著更高的稳定性，真阳性率和真阴性率保持一致，而标准LSTM则出现大幅波动。
• n-gram模型由于能够记忆有效数字范围，在数字长度异常检测中优于两种LSTM模型，但在结构问题（如嵌套错误或缺少大括号）上表现失败。
• 即使在训练数据有限和序列较短的情况下，该方法仍能实现稳定的决策边界，从而减少误报和漏报。
• 系统对训练数据中的异常保持敏感，但OCSVM的可扩展性仍是瓶颈，因其训练复杂度为O(n³)。