[論文レビュー] Fast and scalable neuroevolution deep learning architecture search for multivariate anomaly detection

Marcin Pietroń, Dominik Żurek+2 more|arXiv (Cornell University)|Dec 10, 2021

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本稿では、マルチレベル最適化を用いて多次元異常検出のための深層自己符号化器アーキテクチャを進化させる、高速でスケーラブルなニューロエボリューションフレームワークAD-NEvを提案する。各特徴量サブスペースごとに独立してモデルを進化させ、勾配を使用しないファインチューニングを適用し、アンサンブル投票により、従来手法と比較して顕著にモデルの複雑さと学習時間を削減しながら、SWAT、WADI、MSL、SMAPデータセットで最先端のF1スコアを達成する。

ABSTRACT

Neuroevolution is one of the methodologies that can be used for learning optimal architecture during training. It uses evolutionary algorithms to generate the topology of artificial neural networks and its parameters. The main benefits are that it is scalable and can be fully or partially non gradient method. In this work, a modified neuroevolution technique is presented which incorporates multi-level optimisation. The presented approach adapts evolution strategies for evolving an ensemble model based on the bagging technique, using genetic operators for optimising single anomaly detection models, reducing the training dataset to speedup the search process and perform non-gradient fine tuning. Multivariate anomaly detection as an unsupervised learning task is the case study upon which the presented approach is tested. Single model optimisation is based on mutation and crossover operators and is focused on finding optimal window sizes, the number of layers, layer depths, hyperparameters etc. to boost the anomaly detection scores of new and already known models. The proposed framework and its protocol shows that it is possible to find architecture within a reasonable time frame which can boost all well known multivariate anomaly detection deep learning architectures. The work concentrates on improvements to the multi-level neuroevolution approach for anomaly detection. The main modifications are in the methods of mixing groups and single model evolution, non-gradient fine tuning and a voting mechanism. The presented framework can be used as an efficient learning network architecture method for any different unsupervised task where autoencoder architectures can be used. The tests were run on SWAT, WADI, MSL and SMAP datasets and the presented approach evolved the architectures that achieved the best scores among other deep learning models.

研究の動機と目的

• 時系列データにおける多次元異常検出のための最適なディープラーニングアーキテクチャを自動で発見する課題に対処すること。
• 非勾配最適化とデータサブサンプリングを活用することで、異常検出のためのニューラルアーキテクチャサーチ（NAS）における計算コストと学習時間を低減すること。
• 異なる、独立して進化したサブモデルを用いたアンサンブル学習により、検出性能を向上させること。
• 迅速な適応とファインチューニングを可能にする、スケーラブルで非勾配のアーキテクチャサーチを実現すること。
• ベンチマークとしての多次元時系列異常検出データセットにおいて、GANベースやグラフニューラルネットワークのアプローチを含む既存の最先端モデルを上回ること。

提案手法

• 特徴量サブスペースと各サブスペース内での個々のモデルアーキテクチャを別々に進化させる、複数レベルのニューロエボリューション戦略を採用する。
• ウィンドウサイズ、層数、層の深さ、1D CNNベースの自己符号化器におけるフィルタ数といったハイパーパrameterを最適化するために、遺伝的演算子（突然変異と交叉）を適用する。
• モデル進化中に多様性を促進するための新しい距離測定法を用い、アンサンブル内のサブモデルが補完的であることを保証する。
• 進化の後続段階で非勾配ファインチューニングを適用し、バックプロパゲーションを用いずにネットワーク重みを適応させることで、一般化性能と検出性能を向上させる。
• 各サブセットの特徴量に対して別々に訓練された最適化されたサブモデルの予測を統合する投票メカニズムを用いてアンサンブルモデルを構築する。
• M（センサー数）ではなくK個のサブモデルでアンサンブルを構成することで、モデルの複雑さを低減し、K << Mを達成し、メモリと計算コストを大幅に削減する。

実験結果

リサーチクエスチョン

• RQ1 勾配計算を最小限に抑えたニューロエボリューションベースのアプローチは、多次元異常検出のための深層自己符号化器アーキテクチャを効率的に進化させることができるか？
• RQ2 各特徴量サブスペースごとにサブモデルを独立して進化させることで、共有モデル構造と比較して検出性能がどのように向上するか？
• RQ3 バックプロパゲーションを必要としない非勾配ファインチューニングは、進化したアーキテクチャの性能をどの程度向上させるか？
• RQ4 提案フレームワークは、計算オーバーヘッドを低く保ちながら、ベンチマークデータセットで最先端の結果を達成できるか？
• RQ5 多様で進化したサブモデルに基づくアンサンブル投票メカニズムは、全体の異常検出F1スコアをどの程度向上させるか？

主な発見

• AD-NEvフレームワークは、SWAT、WADI、MSL、SMAPデータセットにおいて、すべての評価対象モデルの中で最高のF1スコアを達成し、GANベースやグラフニューラルネットワークのアプローチを含む最先端モデルを上回った。
• SWATデータセット用の最終モデルは、12層（エンコーダに3層、デコーダに3層）の1D CNN自己符号化器であり、最初の畳み込み層に84入力チャネルを有し、最適な再構成と異常検出性能を達成した。
• WADIモデルは、最初の層に91入力チャネル、2番目の層に155入力チャネルを有する12層の1D CNNを進化させ、センサーが豊富な環境に高い適応性を示した。
• MSLおよびSMAPモデルは、エンコーダとデコーダの両方で6つの畳み込み層を有し、それぞれ205および155の入力チャネルを有し、高次元データに対して優れた一般化性能を示した。
• M（センサー数）ではなくK個のサブモデル（K << M）を用いることで、モデルの複雑さを低減し、複雑さ低減係数がおおよそK/Mに達し、メモリと計算コストを顕著に削減した。
• 非勾配ファインチューニングステップにより、進化後のモデル性能が向上し、バックプロパゲーションを用いずに重みを適応させることで検出精度を効果的に向上させられることを示した。