[论文解读] Memory-augmented Adversarial Autoencoders for Multivariate Time-series Anomaly Detection with Deep Reconstruction and Prediction

Qinfeng Xiao, Shikuan Shao+1 more|arXiv (Cornell University)|Oct 15, 2021

Anomaly Detection Techniques and Applications参考文献 45被引用 7

一句话总结

该论文提出 MemAAE，一种新颖的无监督多变量时间序列异常检测模型，结合对抗自编码器与记忆模块以保留正常模式，并采用双重建-预测训练目标。通过联合优化重建与双向预测，同时将重建结果限制在记忆库中的正常模式，MemAAE 在四个公开数据集上实现了 0.90 的 F1 分数，显著优于最先进基线模型 0.02。

ABSTRACT

Detecting anomalies for multivariate time-series without manual supervision continues a challenging problem due to the increased scale of dimensions and complexity of today's IT monitoring systems. Recent progress of unsupervised time-series anomaly detection mainly use deep autoencoders to solve this problem, i.e. training on normal samples and producing significant reconstruction error on abnormal inputs. However, in practice, autoencoders can reconstruct anomalies so well, due to powerful capabilites of neural networks. Besides, these approaches can be ineffective for identifying non-point anomalies, e.g. contextual anomalies and collective anomalies, since they solely utilze a point-wise reconstruction objective. To tackle the above issues, we propose MemAAE ( extit{Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction}), a novel unsupervised anomaly detection method for time-series. By jointly training two complementary proxy tasks, reconstruction and prediction, with a shared network architecture, we show that detecting anomalies via multiple tasks obtains superior performance rather than single-task training. Additionally, a compressive memory module is introduced to preserve normal patterns, avoiding unexpected generalization on abnormal inputs. Through extensive experiments, MemAAE achieves an overall F1 score of 0.90 on four public datasets, significantly outperforming the best baseline by 0.02.

研究动机与目标

• 解决复杂、高维监控系统中无监督多变量时间序列异常检测的挑战。
• 克服标准自编码器因依赖逐点重建损失而无法检测上下文异常与集体异常的局限性。
• 缓解自编码器在训练数据中存在异常污染时对异常样本的意外泛化问题。
• 通过引入互补的预测任务，提升对局部异常与上下文异常的检测能力，以利用时间上下文信息。
• 通过显式编码正常流形，增强模型鲁棒性与正常性建模能力。

提出的方法

• 采用对抗自编码器（AAE）并结合重建目标，学习正常时间序列模式的鲁棒、解耦表示。
• 引入双向预测头，用于预测未来与过去的时间步，提升对局部与上下文异常的敏感性。
• 实现一个记忆模块，将学习到的正常模式作为向量字典存储，强制重建结果仅为这些正常向量的线性组合。
• 在编码器中使用可微分注意力机制，计算记忆槽上的注意力权重，实现对重建相关正常模式的动态选择。
• 联合训练模型，采用多任务损失函数，结合重建损失、预测损失与对抗损失，以提升表示质量。
• 应用记忆更新机制，定期用新编码的正常样本特征替换过时或代表性不足的记忆向量，保持紧凑且实时的正常性模型。

实验结果

研究问题

• RQ1 与仅使用重建任务的单任务模型相比，联合训练重建与预测任务是否能提升对上下文异常与集体异常的检测能力？
• RQ2 显式编码正常流形的记忆模块是否能减少对异常模式的过拟合，并提升对未见异常的泛化能力？
• RQ3 双向预测的引入如何增强对局部异常的检测能力？这些异常在数值上不显著偏离，但破坏了时间模式。
• RQ4 预测步长、记忆大小与预测权重等超参数对不同数据集上模型性能的影响如何？
• RQ5 在完全无监督训练设置下，记忆增强设计在多大程度上缓解了因异常污染导致的性能下降？

主要发现

• MemAAE 在四个公开多变量时间序列数据集上整体 F1 分数达到 0.90，优于最佳基线模型 0.02。
• 消融实验表明，若移除记忆模块或预测模块，性能均出现显著下降，证实二者在模型中均起关键作用。
• 记忆模块通过仅允许重建学习到的正常模式，防止异常样本被重建，从而减少假阴性。
• 预测模块提升了对局部与上下文异常的检测能力，这些异常难以仅通过重建误差捕捉，尤其在 SMAP 与 SWaT 数据集中表现明显。
• 在部分数据集（如 SMAP 与 SWaT）中，性能对预测权重设置较为敏感，表明需进行经验性超参数调优。
• 最优记忆大小因数据集而异——过大的记忆大小可能降低性能（如在 SWaT 上），表明覆盖范围与表征保真度之间存在权衡。