[论文解读] Adaptive Memory Networks with Self-supervised Learning for Unsupervised Anomaly Detection

Yuxin Zhang, Jindong Wang+3 more|arXiv (Cornell University)|Jan 3, 2022

Anomaly Detection Techniques and Applications被引用 5

一句话总结

该论文提出了一种自监督学习的自适应记忆网络（AMSL），这是一种新颖的无监督异常检测方法，适用于多变量时间序列。通过结合自监督学习以捕捉多样的正常模式，以及采用自适应记忆融合模块来学习丰富且具有代表性的特征，从而提升模型的泛化能力。在大规模CAP睡眠阶段数据集（9亿个样本）上，AMSL在F1和准确率两项指标上均比次优方法高出4%以上，展现出卓越的性能、鲁棒性和效率。

ABSTRACT

Unsupervised anomaly detection aims to build models to effectively detect unseen anomalies by only training on the normal data. Although previous reconstruction-based methods have made fruitful progress, their generalization ability is limited due to two critical challenges. First, the training dataset only contains normal patterns, which limits the model generalization ability. Second, the feature representations learned by existing models often lack representativeness which hampers the ability to preserve the diversity of normal patterns. In this paper, we propose a novel approach called Adaptive Memory Network with Self-supervised Learning (AMSL) to address these challenges and enhance the generalization ability in unsupervised anomaly detection. Based on the convolutional autoencoder structure, AMSL incorporates a self-supervised learning module to learn general normal patterns and an adaptive memory fusion module to learn rich feature representations. Experiments on four public multivariate time series datasets demonstrate that AMSL significantly improves the performance compared to other state-of-the-art methods. Specifically, on the largest CAP sleep stage detection dataset with 900 million samples, AMSL outperforms the second-best baseline by extbf{4}\%+ in both accuracy and F1 score. Apart from the enhanced generalization ability, AMSL is also more robust against input noise.

研究动机与目标

• 解决仅使用正常数据训练的无监督异常检测模型泛化能力有限的问题。
• 克服特征表示缺乏代表性、无法捕捉正常模式多样性的挑战。
• 提升模型对未见异常和输入噪声的鲁棒性。
• 开发一种能有效泛化到大规模真实世界多变量时间序列数据的方法。

提出的方法

• 在卷积自编码器框架内集成自监督学习模块，从未标记的正常数据中学习可泛化的正常模式。
• 采用全局记忆模块捕捉时间序列间的共性特征，同时使用局部记忆模块保留实例特定的细节模式。
• 利用自适应记忆融合模块，根据输入上下文动态结合全局与局部表示，提升特征的代表性。
• 通过数据增强（如噪声、缩放、排列、反转）进行对比学习，以提升自监督表示学习的效果。
• 采用多组件损失函数端到端优化模型，平衡重建损失、自监督对比损失和正则化项。
• 基于重建误差的第99百分位数设定阈值以检测异常，确保对分布偏移的鲁棒性。

Figure 1: Illustration of AMSL. Even with similar inputs ((a) and (b)), existing methods can overfit to the anomalies; On the other hand, when the inputs are diverse ((a) and (c)), our method remains accurate while existing methods can fail. $Axis$ represents three dimensional signals on dataset.

实验结果

研究问题

• RQ1 当仅能访问正常数据时，自监督学习是否能提升无监督异常检测模型的泛化能力？
• RQ2 如何设计记忆网络以同时保留正常时间序列模式中的全局共性和局部多样性？
• RQ3 自适应融合全局与局部记忆表示是否能提升对未见异常的检测性能？
• RQ4 在高维、大规模时间序列数据且标注异常有限的情况下，该方法表现如何？
• RQ5 在输入噪声和分布偏移下，模型是否能保持高性能与鲁棒性？

主要发现

• 在包含9亿个样本的CAP睡眠阶段检测数据集上，AMSL相比次优基线方法在F1分数上提升4.1%，准确率提升4.2%。
• 当使用第99百分位数作为异常检测阈值时，AMSL达到最高的F1分数（0.9750）和准确率（0.9770），优于使用第90和95百分位数的阈值。
• 模型训练过程收敛稳定且迅速，重建损失与自监督损失在训练过程中持续改善。
• 即使减少自监督数据增强的数量（如去除“噪声”或“缩放”变换），AMSL仍保持优异性能，F1分数在仅保留三种变换时仍高于0.90。
• AMSL参数量更少（150万），模型尺寸更小（5.7MB），同时性能优于大多数基线模型，体现出极高的效率。

Figure 2: The structure of the proposed AMSL. It consists of four components: self-supervised learning, global memory, local memory and adaptive fusion. The notation “ $\times R$ ” denotes $R$ copies where each one corresponds to one transformation.