[论文解读] Merlion: A Machine Learning Library for Time Series

Aadyot Bhatnagar, Paul Kassianik+21 more|arXiv (Cornell University)|Sep 20, 2021

Time Series Analysis and Forecasting参考文献 30被引用 18

一句话总结

Merlion 是一个开源的 Python 库，提供统一的、可投入生产的时序预测与异常检测框架，具备标准化的数据处理、自动机器学习（autoML）、模型集成以及真实场景下的持续再训练仿真，用于评估。它在多种数据集上表现出稳健性能，其提出的集成模型在 F1 分数的一致性和泛化能力方面持续优于单一模型。

ABSTRACT

We introduce Merlion, an open-source machine learning library for time series. It features a unified interface for many commonly used models and datasets for anomaly detection and forecasting on both univariate and multivariate time series, along with standard pre/post-processing layers. It has several modules to improve ease-of-use, including visualization, anomaly score calibration to improve interpetability, AutoML for hyperparameter tuning and model selection, and model ensembling. Merlion also provides a unique evaluation framework that simulates the live deployment and re-training of a model in production. This library aims to provide engineers and researchers a one-stop solution to rapidly develop models for their specific time series needs and benchmark them across multiple time series datasets. In this technical report, we highlight Merlion's architecture and major functionalities, and we report benchmark numbers across different baseline models and ensembles.

研究动机与目标

• 解决工业工作流中时序机器学习缺乏标准化、可投入生产工具的问题。
• 通过单一可扩展的接口，统一各类模型与数据集，实现时序预测与异常检测的整合。
• 通过异常评分的后处理规则提升模型可解释性，并减少误报。
• 通过自动机器学习模块实现超参数自动调优与模型选择。
• 提供一种真实评估框架，模拟生产环境中的实际部署与持续再训练。

提出的方法

• 实现统一的 API，用于在单变量与多变量时序数据上加载、预处理、训练与评估模型。
• 集成一系列模型，包括统计方法（孤立森林、随机切割森林）、深度学习模型（LSTM 自编码器、变分自编码器、DAGMM）以及经典方法（Prophet、pmdarima）。
• 应用后处理规则，如阈值校准与平滑处理，以提升异常评分的可解释性并减少误报。
• 采用集成学习方法，结合多个模型的输出（如 RCF + VAE），以提升鲁棒性与泛化能力。
• 通过定期再训练模型（如每周一次）模拟真实世界部署，并在滚动窗口上评估性能。
• 支持对预测结果与异常评分进行可视化，以辅助定性分析与调试。

实验结果

研究问题

• RQ1 统一且可扩展的框架在多样化数据集上，如何提升时序模型的开发与基准测试效率？
• RQ2 自动机器学习在不同预测与异常检测任务中，能在多大程度上提升模型性能？
• RQ3 后处理规则是否能显著降低误报率，同时保持或提升异常检测的 F1 分数？
• RQ4 模型集成在多个时序数据集上，能否实现一致且稳健的性能表现？
• RQ5 在模拟的生产流水线中定期再训练，是否能带来可测量的模型泛化能力与稳定性提升？

主要发现

• Merlion 的集成模型在每组数据集上相对于最佳表现模型的 F1 分数平均差距最小（0.051 ± 0.038），在一致性方面持续优于单一模型。
• 在 MSL 数据集上，LSTM 编码器-解码器模型取得了最高的 F1 分数（0.381）；而在 SMD 数据集上，随机切割森林表现最佳（0.500），表明不同数据集存在模型性能的特异性优势。
• 每周对模型进行再训练对大多数模型的 F1 性能无统计显著影响（p > 0.05），仅 DAGMM 模型显示显著差异（p = 0.032），表明在此设置下频繁再训练的收益有限。
• 自动机器学习模块在多个预测模型上持续提升了性能，证明其在超参数优化中的价值。
• 后处理规则显著提升了可解释性并减少了误报，从而提高了在生产环境中的实用性。
• Merlion 的评估流水线成功模拟了真实世界部署，实现了在多个数据集与模型配置下的可靠基准测试。