[论文解读] AnomalyBERT: Self-Supervised Transformer for Time Series Anomaly Detection using Data Degradation Scheme
AnomalyBERT 使用基于 Transformer 的模型,采用数据降解自监督方案,使用 four 合成异常来检测多变量时间序列中的异常,在 five real-world benchmarks 上取得最先进的结果。
Mechanical defects in real situations affect observation values and cause abnormalities in multivariate time series, such as sensor values or network data. To perceive abnormalities in such data, it is crucial to understand the temporal context and interrelation between variables simultaneously. The anomaly detection task for time series, especially for unlabeled data, has been a challenging problem, and we address it by applying a suitable data degradation scheme to self-supervised model training. We define four types of synthetic outliers and propose the degradation scheme in which a portion of input data is replaced with one of the synthetic outliers. Inspired by the self-attention mechanism, we design a Transformer-based architecture to recognize the temporal context and detect unnatural sequences with high efficiency. Our model converts multivariate data points into temporal representations with relative position bias and yields anomaly scores from these representations. Our method, AnomalyBERT, shows a great capability of detecting anomalies contained in complex time series and surpasses previous state-of-the-art methods on five real-world benchmarks. Our code is available at https://github.com/Jhryu30/AnomalyBERT.
研究动机与目标
- 通过利用自监督学习,应对未标记的多变量时间序列中的异常检测挑战。
- 引入带有合成异常点的数据降解机制来监督异常检测。
- 开发适用于时间序列数据的、具备时序上下文建模的基于 Transformer 的架构。
- 在多个真实世界基准上展示出优于现有方法的性能。
提出的方法
- 使用带有 1D 相对位置偏置的 Transformer 编码器来编码时序上下文。
- 采用数据降解方案,将随机窗口区间替换为四种合成异常点之一(软替换、均匀替换、峰值噪声、长度调整)。
- 以二元交叉熵目标函数进行训练,将降解区域标注为每个输入窗口中的异常。
- 在 Transformer 处理之前,先通过线性层将窗口中的每个数据块投影到嵌入空间。
- 输出每点的异常分数,指示窗口内的异常可能性。
实验结果
研究问题
- RQ1基于自监督降解的训练目标是否能够在未标记的多变量时间序列中实现有效的异常检测?
- RQ2具有相对位置偏置的 Transformer 架构是否能够充分捕捉时间上下文和变量之间的关系,从而实现准确的异常分数?
- RQ3不同类型的合成异常对跨多样化真实世界数据集的检测性能有何影响?
主要发现
- AnomalyBERT 在五个真实世界基准上以 F1 分数优于现有方法。
- 数据降解方案使模型能够在没有标注异常的情况下学习时序上下文。
- 1D 相对位置偏置在 Transformer 中提升了时序信息的整合。
- 将软替换、均匀替换、峰值噪声、长度调整等合成异常类型结合起来,在各数据集上实现了强的检测性能。
- 定性可视化显示潜在空间中异常点的明显分离。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。