[论文解读] Anomaly Detection for Water Treatment System based on Neural Network with Automatic Architecture Optimization

Dmitry Shalyga, Pavel Filonov+1 more|arXiv (Cornell University)|Jul 19, 2018

Anomaly Detection Techniques and Applications参考文献 31被引用 62

一句话总结

本文通过遗传算法自动搜索神经网络架构，以提升对 SWaT 水处理数据集的异常检测性能，使用 NAB 作为主要评估指标，并添加提高检测质量和可解释性的技术。

ABSTRACT

We continue to develop our neural network (NN) based forecasting approach to anomaly detection (AD) using the Secure Water Treatment (SWaT) industrial control system (ICS) testbed dataset. We propose genetic algorithms (GA) to find the best NN architecture for a given dataset, using the NAB metric to assess the quality of different architectures. The drawbacks of the F1-metric are analyzed. Several techniques are proposed to improve the quality of AD: exponentially weighted smoothing, mean p-powered error measure, individual error weight for each variable, disjoint prediction windows. Based on the techniques used, an approach to anomaly interpretation is introduced.

研究动机与目标

• 激励对 SWaT 的工业控制系统 (ICS) 数据进行及早且准确的异常检测。
• 开发一种自动方法，为给定时间序列数据提出定制的神经网络架构。
• 通过额外的技术和使用 NAB 评估来提高检测质量和可解释性。
• 通过识别与检测到的异常相关的潜在被攻击的标签来实现异常诊断。

提出的方法

• 用输入窗口和预测窗口表示 SWaT 的多元时间序列数据，以用于神经预测模型。
• 使用遗传算法从模板（MLP、CNN、RNN）中生成并选择最小化训练数据上均方误差（MSE）的神经网络架构。
• 用反向传播（Adam 优化器）训练候选架构，并通过 NAB 指标和 F1 分数进行评估。
• 引入增强异常检测的技术：指数加权平滑、平均值的 p 次幂误差、逐标签权重、以及不相交的预测窗口。
• 通过定位对检测到的异常具有最大预测误差的标签，提供异常解释机制。

实验结果

研究问题

• RQ1 自动神经网络架构搜索是否能在 SWaT 数据集上提升异常检测性能，相较于手动选择的模型？
• RQ2 在使用神经网络预测时，哪些技术能在工业控制系统的异常检测中最佳地平衡误报和漏报？
• RQ3 该方法在多大程度上能够诊断涉及某一异常的具体标签并支持多阶段攻击解释？

主要发现

• 表现最佳的模型（MLP 模板）达到 NAB 分数 69.612 和 F1 分数 0.812。
• 该模型在 34 个中检测出 25 个异常，7 个为假阳性。
• 异常检测的平均延迟为异常长度的 11%。
• 架构搜索发现编码器–分析器–解码器（encoder–analyzer–decoder）配置及其特定层形状为最佳解。
• 基于 GRU 的网络在对比中表现优于基于 LSTM 的网络。
• 使用没有几乎周期性标签的缩小数据集，只对 F1 分数略有下降（下降 6%），而 NAB 体现了对早期检测的强调。