[论文解读] Fast and scalable neuroevolution deep learning architecture search for multivariate anomaly detection

Marcin Pietroń, Dominik Żurek+2 more|arXiv (Cornell University)|Dec 10, 2021

Anomaly Detection Techniques and Applications被引用 5

一句话总结

该论文提出 AD-NEv，一种快速且可扩展的神经演化框架，通过多级优化演化深度自编码器架构，用于多变量异常检测。该方法独立演化每个特征子空间的模型，应用非梯度微调，并使用集成投票机制，在 SWAT、WADI、MSL 和 SMAP 数据集上实现了最先进水平的 F1 分数，同时相比先前方法显著降低了模型复杂度和训练时间。

ABSTRACT

Neuroevolution is one of the methodologies that can be used for learning optimal architecture during training. It uses evolutionary algorithms to generate the topology of artificial neural networks and its parameters. The main benefits are that it is scalable and can be fully or partially non gradient method. In this work, a modified neuroevolution technique is presented which incorporates multi-level optimisation. The presented approach adapts evolution strategies for evolving an ensemble model based on the bagging technique, using genetic operators for optimising single anomaly detection models, reducing the training dataset to speedup the search process and perform non-gradient fine tuning. Multivariate anomaly detection as an unsupervised learning task is the case study upon which the presented approach is tested. Single model optimisation is based on mutation and crossover operators and is focused on finding optimal window sizes, the number of layers, layer depths, hyperparameters etc. to boost the anomaly detection scores of new and already known models. The proposed framework and its protocol shows that it is possible to find architecture within a reasonable time frame which can boost all well known multivariate anomaly detection deep learning architectures. The work concentrates on improvements to the multi-level neuroevolution approach for anomaly detection. The main modifications are in the methods of mixing groups and single model evolution, non-gradient fine tuning and a voting mechanism. The presented framework can be used as an efficient learning network architecture method for any different unsupervised task where autoencoder architectures can be used. The tests were run on SWAT, WADI, MSL and SMAP datasets and the presented approach evolved the architectures that achieved the best scores among other deep learning models.

研究动机与目标

• 为解决在时间序列数据中自动发现最优深度学习架构用于多变量异常检测的挑战。
• 通过利用非梯度优化和数据子采样，降低神经架构搜索（NAS）在异常检测中的计算成本和训练时间。
• 通过多样化、独立演化每个特征子空间的子模型，实现集成学习，以提升检测性能。
• 实现可扩展的非梯度架构搜索，支持演化模型的快速适应与微调。
• 在基准多变量时间序列异常检测数据集上，超越现有最先进模型，包括基于 GAN 和图神经网络的方法。

提出的方法

• 该框架采用多级神经演化策略，为每个特征子空间独立演化模型架构，形成独立的种群。
• 应用遗传算子（变异和交叉）优化超参数，如窗口大小、层数、层深度和 1D CNN 基础自编码器中的滤波器数量。
• 引入一种新型距离度量，以在模型演化过程中促进多样性，确保集成中的子模型具有互补性。
• 在演化后应用非梯度微调，通过无需反向传播的方式调整网络权重，提升泛化能力和性能。
• 通过投票机制构建集成模型，结合在不同特征子集上训练的优化子模型的预测结果。
• 通过仅使用 K 个子模型（K << M，M 为传感器数量）代替 M 个子模型，降低模型复杂度，显著减少内存和计算成本。

实验结果

研究问题

• RQ1 基于神经演化的方法能否在极少梯度计算的情况下，高效演化用于多变量异常检测的深度自编码器架构？
• RQ2 与共享模型结构相比，每个特征子空间独立演化子模型在检测性能上有多大提升？
• RQ3 非梯度微调在不依赖反向传播的情况下，能在多大程度上提升演化架构的性能？
• RQ4 所提出的框架能否在保持低计算开销的同时，实现在基准数据集上的最先进性能？
• RQ5 基于多样化、演化得到的子模型的集成投票机制，如何提升整体异常检测的 F1 分数？

主要发现

• AD-NEv 框架在 SWAT、WADI、MSL 和 SMAP 数据集上所有评估模型中均取得了最高的 F1 分数，优于包括基于 GAN 和图神经网络在内的最先进模型。
• SWAT 数据集的最终模型采用 1D CNN 自编码器，包含 12 层（编码器 3 层，解码器 3 层），第一卷积层具有 84 个输入通道，实现了最优的重构与异常检测性能。
• WADI 模型演化出一个 12 层的 1D CNN，第一层具有 91 个输入通道，第二层具有 155 个输入通道，展现出对传感器丰富环境的高适应性。
• MSL 和 SMAP 模型在编码器和解码器路径中均使用六个卷积层，分别具有 205 和 155 个输入通道，表现出在高维数据上的强泛化能力。
• 通过仅使用 K 个子模型（K << M）代替 M 个子模型，框架显著降低了模型复杂度，复杂度降低因子约为 K/M，显著减少了内存和计算成本。
• 非梯度微调步骤在演化后提升了模型性能，表明无需反向传播的权重自适应可有效提升检测准确率。