[论文解读] An Automated Machine Learning Approach for Detecting Anomalous Peak Patterns in Time Series Data from a Research Watershed in the Northeastern United States Critical Zone

Ijaz Ul Haq, Byung Suk Lee+2 more|arXiv (Cornell University)|Sep 14, 2023

Anomaly Detection Techniques and Applications被引用 6

一句话总结

该论文提出了一种自动化机器学习框架，通过生成合成数据和超参数优化，检测水文时间序列中的异常峰值模式。该框架利用TimeGAN进行数据合成，并在五种深度学习模型（TCN、InceptionTime、MiniRocket、ResNet、LSTM）中进行优化，根据用户定义的准确率与计算成本之间的权衡选择表现最佳的模型，在真实流域数据上展现出一致的模型选择能力。

ABSTRACT

This paper presents an automated machine learning framework designed to assist hydrologists in detecting anomalies in time series data generated by sensors in a research watershed in the northeastern United States critical zone. The framework specifically focuses on identifying peak-pattern anomalies, which may arise from sensor malfunctions or natural phenomena. However, the use of classification methods for anomaly detection poses challenges, such as the requirement for labeled data as ground truth and the selection of the most suitable deep learning model for the given task and dataset. To address these challenges, our framework generates labeled datasets by injecting synthetic peak patterns into synthetically generated time series data and incorporates an automated hyperparameter optimization mechanism. This mechanism generates an optimized model instance with the best architectural and training parameters from a pool of five selected models, namely Temporal Convolutional Network (TCN), InceptionTime, MiniRocket, Residual Networks (ResNet), and Long Short-Term Memory (LSTM). The selection is based on the user's preferences regarding anomaly detection accuracy and computational cost. The framework employs Time-series Generative Adversarial Networks (TimeGAN) as the synthetic dataset generator. The generated model instances are evaluated using a combination of accuracy and computational cost metrics, including training time and memory, during the anomaly detection process. Performance evaluation of the framework was conducted using a dataset from a watershed, demonstrating consistent selection of the most fitting model instance that satisfies the user's preferences.

研究动机与目标

• 解决在美国东北部关键区研究流域中检测时间序列数据异常峰值模式的挑战。
• 克服监督式异常检测的局限性，如对标注数据的需求以及模型选择的复杂性。
• 开发一种自动化流程，生成合成标注数据并优化深度学习模型以实现峰值异常检测。
• 通过从预定义的五种模型架构中选择最合适的模型，平衡检测准确率与计算成本。
• 在关键区观测站的真实水文时间序列数据上评估该框架。

提出的方法

• 使用TimeGAN生成合成时间序列数据，以模拟逼真的水文模式。
• 在合成数据中注入人工峰值异常，以创建完全标注的训练数据集。
• 评估五种深度学习模型——时间卷积网络（TCN）、InceptionTime、MiniRocket、残差网络（ResNet）和长短期记忆网络（LSTM）——在异常检测中的表现。
• 通过自动化超参数优化流程，基于用户对准确率与计算成本的偏好选择最优模型实例。
• 使用检测准确率、训练时间与内存使用等指标评估模型性能。
• 将合成数据生成、模型训练与选择整合为一个面向水文应用的端到端自动化流程。

实验结果

研究问题

• RQ1 合成数据生成能否有效模拟具有受控异常峰值模式的逼真水文时间序列？
• RQ2 在TCN、InceptionTime、MiniRocket、ResNet和LSTM中，哪种深度学习架构在不同准确率与计算约束下对异常峰值模式的检测表现最佳？
• RQ3 自动化超参数优化系统能否根据用户定义的性能与效率权衡，持续选择最合适的模型？
• RQ4 该框架在关键区观测站的真实时间序列数据上的表现如何？
• RQ5 与真实标注数据相比，使用注入异常的合成数据在多大程度上提升了模型的泛化能力？

主要发现

• 该框架成功利用TimeGAN生成了具有逼真水文模式且可控异常峰值注入的合成时间序列。
• 自动化超参数优化流程能够根据用户定义的准确率与计算成本偏好，一致地从五种候选模型中选择最合适的模型。
• 在真实流域数据上验证了推理性能，证明了该框架能够以高可靠性检测异常峰值模式。
• 所选模型实例在保持可接受训练时间与内存使用的同时实现了高检测准确率，证实了优化策略的有效性。
• 合成数据与自动化模型选择的整合显著降低了对昂贵且人工标注的真实数据在水文系统异常检测中的依赖。