[论文解读] Innovations Autoencoder and its Application in One-class Anomalous Sequence Detection

Xinyi Wang, Lang Tong|arXiv (Cornell University)|Jun 23, 2021

Anomaly Detection Techniques and Applications参考文献 49被引用 8

一句话总结

本文提出创新自编码器（Innovations Autoencoder, IAE），一种利用因果卷积神经网络和Wasserstein GAN的深度学习框架，从未知的非高斯时间序列中提取统计独立、同分布的创新序列。该方法实现了高效的单类异常序列检测，在BESS和UTK数据集上分别取得了0.8354和0.9135的SOTA AUROC分数，在细微异常的挑战性场景下优于ANICA、OCSVM和F-AnoGAN。

ABSTRACT

An innovations sequence of a time series is a sequence of independent and identically distributed random variables with which the original time series has a causal representation. The innovation at a time is statistically independent of the history of the time series. As such, it represents the new information contained at present but not in the past. Because of its simple probability structure, an innovations sequence is the most efficient signature of the original. Unlike the principle or independent component analysis representations, an innovations sequence preserves not only the complete statistical properties but also the temporal order of the original time series. An long-standing open problem is to find a computationally tractable way to extract an innovations sequence of non-Gaussian processes. This paper presents a deep learning approach, referred to as Innovations Autoencoder (IAE), that extracts innovations sequences using a causal convolutional neural network. An application of IAE to the one-class anomalous sequence detection problem with unknown anomaly and anomaly-free models is also presented.

研究动机与目标

• 开发一种计算上可行的方法，从非高斯、未知平稳时间序列中提取创新序列。
• 解决在底层过程无参数假设下提取创新序列这一开放问题。
• 实现对未知时间依赖和概率结构的时间序列的实时、因果表示学习。
• 将学习到的创新表示应用于单类异常序列检测，其中正常和异常模型均未知。
• 在真实世界和合成时间序列中检测细微、难以区分的异常方面展示卓越性能。

提出的方法

• 提出使用因果卷积神经网络（CNN）作为编码器，将过去的时间序列观测映射到潜在的创新序列。
• 采用基于Wasserstein GAN的训练目标，强制潜在序列为i.i.d.，确保统计独立性和同分布性。
• 使用因果解码器网络从创新序列重建原始时间序列，确保因果性和信息保全。
• 应用有限块收敛定理（定理1），保证IAE的高维实现能近似理想创新表示。
• 使用历史、无异常的时间序列数据端到端训练IAE，学习数据驱动的非参数表示。
• 通过在原假设为正常性下检验潜在码的i.i.d.性质，将学习到的创新序列用于单类异常检测。

实验结果

研究问题

• RQ1 深度学习模型能否从未知平稳、非高斯时间序列中提取出统计独立且同分布的创新序列？
• RQ2 在实际训练条件下，所提出的创新自编码器（IAE）是否能实现有限块收敛至理想创新表示？
• RQ3 当正常和异常模型均未知时，基于IAE的表示能否在单类异常序列检测中优于现有方法？
• RQ4 IAE在检测边际分布几乎相同的细微异常方面有多有效？
• RQ5 IAE能否检测出仅在时间依赖结构上不同、但边际统计量无法区分的异常？

主要发现

• 在BESS数据集上，IAE实现了0.8354的AUROC，显著优于ANICA（0.5027）、OCSVM（0.4903）和F-AnoGAN（0.4993），证明其在检测细微电力系统异常方面的有效性。
• 在UTK数据集（40dB SNR高斯混合噪声）上，IAE实现了0.9135的AUROC，为所有方法中的最高分，表明其对微小、复杂异常具有强鲁棒性。
• 在SYN1上，异常与正常数据具有相同的边际分布，IAE实现了0.9021的AUROC，接近渐近最优的Quenouille检测器（0.9112），证明其对时间结构的敏感性。
• 在SYN2上，边际分布略有差异但时间依赖性显著不同，IAE实现了0.9635的AUROC，优于ANICA（0.6337）、OCSVM（0.5407）和F-AnoGAN（0.5020），凸显其捕捉结构差异的能力。
• IAE框架成功从复杂、非高斯时间序列中提取出潜在的i.i.d.表示，即使在传统方法失效时也能实现可靠的异常检测。
• 有限块收敛定理（定理1）提供了理论依据，表明在适当训练下，高维IAE实现可近似理想创新表示。