[論文レビュー] Anomaly Detection for Water Treatment System based on Neural Network with Automatic Architecture Optimization

Dmitry Shalyga, Pavel Filonov+1 more|arXiv (Cornell University)|Jul 19, 2018

Anomaly Detection Techniques and Applications参考文献 31被引用数 62

ひとこと要約

本論文は、遺伝的アルゴリズムを用いてニューラルネットワークのアーキテクチャを自動的に探索し、SWaT水処理データセットの異常検知を改善する。主な評価指標としてNABを用い、検出品質と解釈性を高める手法を追加している。

ABSTRACT

We continue to develop our neural network (NN) based forecasting approach to anomaly detection (AD) using the Secure Water Treatment (SWaT) industrial control system (ICS) testbed dataset. We propose genetic algorithms (GA) to find the best NN architecture for a given dataset, using the NAB metric to assess the quality of different architectures. The drawbacks of the F1-metric are analyzed. Several techniques are proposed to improve the quality of AD: exponentially weighted smoothing, mean p-powered error measure, individual error weight for each variable, disjoint prediction windows. Based on the techniques used, an approach to anomaly interpretation is introduced.

研究の動機と目的

• SWaTの産業用制御システム（ICS）データにおいて早期かつ正確な異常検知を動機づける。
• 与えられた時系列データセットに適合する NN アーキテクチャを提案する自動化手法を開発する。
• 追加の手法とNABによる評価を通じて検知品質と解釈性を向上させる。
• 検出された異常に対応する潜在的に攻撃されたタグを特定することで異常診断を可能にする。

提案手法

• SWaTの多変量時系列データを、ニューラル予測モデル用の入力ウィンドウと予測ウィンドウで表現する。
• 遺伝的アルゴリズムを用いて、訓練データでMSEを最小化するテンプレート（MLP、CNN、RNN）からNNアーキテクチャを生成・選択する。
• 候補となるアーキテクチャを逆伝搬法（Adam最適化器）で訓練し、NAB指標とF1スコアで評価する。
• 異常強化技術を導入する：指数加重平滑化、平均p乗誤差、タグごとの重み、分離された予測ウィンドウ。
• 検出された異常に対して最も大きな予測誤差を示すタグを特定することで異常解釈機構を提供する。

実験結果

リサーチクエスチョン

• RQ1 自動的なニューラルアーキテクチャ探索は、手動で選択されたモデルと比較してSWaTデータセットの異常検知性能を改善できるか？
• RQ2 NN予測を用いたICS異常検知で、偽陽性と偽陰性のバランスを最もよく取る手法はどれか？
• RQ3 このアプローチは異常に関与する特定のタグをどの程度特定し、マルチステージ攻撃の解釈を支援できるか？

主な発見

• 最高性能のモデル（MLPテンプレート）はNABスコア69.612、F1スコア0.812を達成した。
• そのモデルは34件中25件の異常を検出し、7件の偽陽性だった。
• 異常検知の平均遅延は異常長の11%だった。
• アーキテクチャ探索は、エンコーダー–アナライザー–デコーダー構成と、特定のレイヤー形状をトップソリューションとして見出した。
• 比較の中でGRUベースのネットワークはLSTMベースのものより良く機能した。
• ほぼ周期的なタグを含まない縮小データセットを使用するとF1スコアは僅かに低下した（6%低下）一方 NABは早期検出の強調を反映する。