[论文解读] A Novel Anomaly Detection Algorithm for Hybrid Production Systems based on Deep Learning and Timed Automata

Nemanja Hranisavljevic, Oliver Niggemann+1 more|arXiv (Cornell University)|Oct 29, 2020

Fault Detection and Control Systems参考文献 15被引用 7

一句话总结

本文提出DAD：DeepAnomalyDetection，一种基于深度学习与时间自动机的新型算法，用于混合生产系统中的异常检测。该方法利用深度置信网络将连续信号转换为离散模式，通过时间自动机统一建模离散与连续信号，有效检测时间异常、意外事件及新出现的模式，在真实与合成数据集上取得了令人满意的结果。

ABSTRACT

Performing anomaly detection in hybrid systems is a challenging task since it requires analysis of timing behavior and mutual dependencies of both discrete and continuous signals. Typically, it requires modeling system behavior, which is often accomplished manually by human engineers. Using machine learning for creating a behavioral model from observations has advantages, such as lower development costs and fewer requirements for specific knowledge about the system. The paper presents DAD:DeepAnomalyDetection, a new approach for automatic model learning and anomaly detection in hybrid production systems. It combines deep learning and timed automata for creating behavioral model from observations. The ability of deep belief nets to extract binary features from real-valued inputs is used for transformation of continuous to discrete signals. These signals, together with the original discrete signals are than handled in an identical way. Anomaly detection is performed by the comparison of actual and predicted system behavior. The algorithm has been applied to few data sets including two from real systems and has shown promising results.

研究动机与目标

• 解决混合生产系统中离散与连续信号之间复杂交互所导致的异常检测挑战。
• 通过从观测数据中自动学习行为模型，减少对人工专家驱动系统建模的依赖。
• 通过基于深度学习的离散化方法，统一处理异常检测中的离散与连续信号。
• 利用学习得到的时间自动机，实现对时间相关异常、意外事件及新出现模式的检测。
• 在真实世界与合成数据上评估该方法，以证明其实际可行性与鲁棒性。

提出的方法

• 对连续信号应用滑动窗口，形成深度置信网络（DBN）的输入序列。
• DBN执行无监督特征学习，将实值连续信号转换为其顶层的二值激活模式。
• 将所得二值模式与原始离散信号结合，作为模型学习的离散事件。
• 从离散事件序列中学习时间自动机，以表示系统在时间约束下的正常行为。
• 通过将实际系统行为与学习得到的时间自动机生成的预测进行比较，实现异常检测。
• 该方法支持对意外初始状态、新出现模式、未知事件及时间偏差的检测。

实验结果

研究问题

• RQ1 深度置信网络能否有效从工业系统中的连续传感器信号中提取有意义的离散表示？
• RQ2 基于时间自动机的统一模型能否准确表示混合生产系统中离散与连续信号的联合行为？
• RQ3 所提出的DAD算法在真实与合成数据上对各类异常（如时间偏差、意外转换及新出现模式）的检测效果如何？
• RQ4 数据预处理选择（如窗口大小、重叠程度）对异常检测系统性能有何影响？
• RQ5 该模型在无需人工重新配置的情况下，对未见异常的泛化能力如何？

主要发现

• 在存储系统实验中，44%的人工添加的周期起始阶段高斯噪声被检测为意外初始状态，40%被归类为新出现模式。
• 在ATM卡读取器系统中，50%的信号骤降至零被检测为新出现模式，45%被识别为未知事件，表明对突变具有强敏感性。
• 在卡读取器系统中，当状态从28跳变至27偏离预期行为时，该算法成功识别为异常。
• 在卡读取器数据中，15%的斜坡上升信号被归类为正常，35%被检测为未知事件，显示出对渐变异常的响应能力。
• 可视化分析证实，DBN从能量信号中学习到了有意义的模式，且时间自动机正确捕捉了依赖序列的行为特征。
• 即使在相同输入模式因训练数据有限而被不一致地映射到相同离散状态的情况下，该方法仍表现出对异常检测的鲁棒性。