[论文解读] Deep Generative model with Hierarchical Latent Factors for Time Series Anomaly Detection

Cristian Challú, Peihong Jiang+2 more|arXiv (Cornell University)|Feb 15, 2022

Anomaly Detection Techniques and Applications被引用 9

一句话总结

该论文提出DGHL，一种用于多变量时间序列异常检测的深度生成模型，采用分层潜在空间和自顶向下的卷积神经网络，以高效重建时间序列窗口。通过交替反向传播与短时MCMC进行训练，DGHL在训练速度上比RNN模型快达10倍，且在缺失数据（高达90%缺失）和可变特征方面表现出更优的鲁棒性，在四个基准数据集上性能超越当前最先进方法。

ABSTRACT

Multivariate time series anomaly detection has become an active area of research in recent years, with Deep Learning models outperforming previous approaches on benchmark datasets. Among reconstruction-based models, most previous work has focused on Variational Autoencoders and Generative Adversarial Networks. This work presents DGHL, a new family of generative models for time series anomaly detection, trained by maximizing the observed likelihood by posterior sampling and alternating back-propagation. A top-down Convolution Network maps a novel hierarchical latent space to time series windows, exploiting temporal dynamics to encode information efficiently. Despite relying on posterior sampling, it is computationally more efficient than current approaches, with up to 10x shorter training times than RNN based models. Our method outperformed current state-of-the-art models on four popular benchmark datasets. Finally, DGHL is robust to variable features between entities and accurate even with large proportions of missing values, settings with increasing relevance with the advent of IoT. We demonstrate the superior robustness of DGHL with novel occlusion experiments in this literature. Our code is available at https://github.com/cchallu/dghl.

研究动机与目标

• 解决现有基于重构的模型在处理物联网系统中常见的缺失数据和可变特征时的局限性。
• 开发一种计算高效的生成模型，用于多变量时间序列异常检测，避免依赖编码器或判别器等辅助网络。
• 在传感器故障或异构数据源等真实数据损坏场景下，提升模型的鲁棒性和性能。
• 提供可复现的、开源的实现，以支持时间序列异常检测领域的基准测试与进一步研究。

提出的方法

• 提出一种新颖的分层潜在空间，其中每一层l的潜在向量在a_l个连续子窗口间共享，从而高效编码时间动态。
• 采用自顶向下的卷积神经网络作为生成器，将分层潜在因子映射为时间序列窗口，利用空间与时间结构。
• 通过交替反向传播最大化观测似然来训练模型，避免使用独立的推理网络。
• 使用短时MCMC对潜在变量进行后验采样，实现在无需辅助网络情况下的端到端训练。
• 引入基于似然的训练目标，直接优化重构质量与异常检测性能。
• 通过分层因子分解学习长期时间依赖关系，支持长周期重构与预测。

实验结果

研究问题

• RQ1 具有分层潜在空间的深度生成模型是否能在多变量时间序列异常检测中实现最先进性能，同时显著缩短训练时间？
• RQ2 在物联网系统中常见的缺失值与可变特征等真实数据条件下，该模型表现如何？
• RQ3 与平坦或非分层潜在空间相比，所提出的分层潜在表示是否能提升重构质量与异常检测准确率？
• RQ4 当模型在不使用编码器或判别器等辅助网络的情况下，仅依赖似然最大化进行训练时，是否仍能保持高性能？
• RQ5 模型在分布外或外推时间序列窗口上的泛化能力如何，反映出所学表征的质量？

主要发现

• DGHL在四个主流基准数据集（包括SMD和NAB）上优于当前最先进模型，AUC与F1分数持续提升。
• 模型训练速度比RNN模型快达10倍，尽管使用了MCMC采样，仍展现出显著的计算效率。
• DGHL在高达90%输入值缺失的情况下仍保持最先进性能，表现出对数据损坏的优越鲁棒性。
• 消融实验表明，分层潜在空间与交替反向传播协同作用，共同带来性能增益。
• 定性分析显示，潜在表征具有连续性与外推能力，通过插值与外推可生成有意义的时间序列。
• 该模型可有效用于预测任务，展现出在多种时间序列学习目标下的多功能性。