[论文解读] Anomaly Detection using Deep Autoencoders for in-situ Wastewater Systems Monitoring Data

Stefania Russo, Andy Disch+2 more|arXiv (Cornell University)|Feb 7, 2020

Anomaly Detection Techniques and Applications参考文献 19被引用 26

一句话总结

本文提出一种基于一维卷积神经网络的深度自编码器，通过利用重建误差来检测多变量现场废水监测数据中的异常。该方法能有效识别复杂时间序列中的异常模式，帮助领域专家在真实世界异常标注困难的情况下维持数据质量。

ABSTRACT

Due to the growing amount of data from in-situ sensors in wastewater systems, it becomes necessary to automatically identify abnormal behaviours and ensure high data quality. This paper proposes an anomaly detection method based on a deep autoencoder for in-situ wastewater systems monitoring data. The autoencoder architecture is based on 1D Convolutional Neural Network (CNN) layers where the convolutions are performed over the inputs across the temporal axis of the data. Anomaly detection is then performed based on the reconstruction error of the decoding stage. The approach is validated on multivariate time series from in-sewer process monitoring data. We discuss the results and the challenge of labelling anomalies in complex time series. We suggest that our proposed approach can support the domain experts in the identification of anomalies.

研究动机与目标

• 为应对由于现场传感器数据增加而导致的废水系统中数据质量维护挑战。
• 开发一种适用于污水管渠监测中复杂多变量时间序列的自动化异常检测方法。
• 通过实现无监督异常行为检测，减少对人工标注的依赖。
• 支持领域专家高效识别和诊断数据异常。

提出的方法

• 使用一维卷积层构建深度自编码器架构，处理多变量传感器数据的时间序列。
• 模型在解码阶段学习重建输入数据，重建误差作为异常评分。
• 沿时间轴应用卷积操作，以捕捉时间序列数据中的时空依赖性。
• 网络在正常数据上端到端进行训练，以学习典型系统行为的紧凑表征。
• 当重建误差超过预设阈值时检测异常，表明偏离了正常模式。
• 该方法在真实世界污水管渠监测数据上进行了评估，展示了在复杂高维时间序列中的鲁棒性。

实验结果

研究问题

• RQ1 基于1D CNN的深度自编码器在检测多变量废水监测数据异常方面效果如何？
• RQ2 深度自编码器的重建误差是否能可靠识别异常行为，而无需大量标注数据？
• RQ3 在真实世界废水时间序列中标注异常的实际挑战是什么？无监督方法在多大程度上可缓解这些问题？
• RQ4 该方法在多大程度上可支持领域专家诊断数据质量问题？

主要发现

• 所提出的深度自编码器模型成功利用重建误差作为检测指标，在多变量现场废水监测数据中识别出异常模式。
• 该方法在人工标注不切实际的复杂真实世界时间序列数据中表现出稳健性能。
• 该模型减少了对大量标注异常数据的需求，实现了有效的无监督异常检测。
• 该方法通过突出潜在的数据质量问题，支持领域专家提升系统监控效率。