[论文解读] DeepTSF: Codeless machine learning operations for time series forecasting

Sotiris Pelekis, Evangelos Karakolis+5 more|arXiv (Cornell University)|Jul 28, 2023

Energy Load and Power ForecastingEngineering参考文献 37被引用 3

一句话总结

DeepTSF 是一个无需代码的 MLOps 框架，专为时间序列预测而设计，通过用户友好的用户界面自动化机器学习生命周期，使数据科学家和非程序员能够无需编写代码即可构建、评估和部署深度学习模型。它可与现有工作流程集成，支持安全的访问控制，并已在 I-NERGY 欧盟项目中展示了其在实际短期负荷预测中的出色性能。

ABSTRACT

This paper presents DeepTSF, a comprehensive machine learning operations (MLOps) framework aiming to innovate time series forecasting through workflow automation and codeless modeling. DeepTSF automates key aspects of the ML lifecycle, making it an ideal tool for data scientists and MLops engineers engaged in machine learning (ML) and deep learning (DL)-based forecasting. DeepTSF empowers users with a robust and user-friendly solution, while it is designed to seamlessly integrate with existing data analysis workflows, providing enhanced productivity and compatibility. The framework offers a front-end user interface (UI) suitable for data scientists, as well as other higher-level stakeholders, enabling comprehensive understanding through insightful visualizations and evaluation metrics. DeepTSF also prioritizes security through identity management and access authorization mechanisms. The application of DeepTSF in real-life use cases of the I-NERGY project has already proven DeepTSF's efficacy in DL-based load forecasting, showcasing its significant added value in the electrical power and energy systems domain.

研究动机与目标

• 通过实现无需代码、自动化的机器学习运维，解决传统时间序列预测流程的复杂性和人工操作负担。
• 通过直观、可视化丰富的界面，弥合数据科学家与非技术利益相关者（如能源专家）之间的差距。
• 在无需编写代码的情况下，简化从数据摄入、模型训练、评估到部署的端到端机器学习生命周期。
• 通过身份管理和访问授权，增强预测工作流中的安全性和协作性。
• 支持在能源系统中的实际部署，特别是在 I-NERGY 欧盟项目中的短期负荷预测。

提出的方法

• DeepTSF 采用基于 Web 的前端用户界面，允许用户通过配置面板而非代码来配置预测任务。
• 它与成熟的深度学习框架（如 PyTorch、MXNet）集成，并在后台使用 Darts、GluonTS 和 PyTorch-Forecasting 等库。
• 该框架支持使用 RMSE 和 MAPE 等指标进行自动超参数调优、模型选择和评估。
• 它使用 Docker 和 MLflow 进行模型追踪和实验管理，确保可复现性和版本控制。
• 通过身份管理和基于角色的访问控制实施安全控制，确保协作的安全性。
• 该系统设计用于支持与时间序列数据库（如 InfluxDB、TimescaleDB）的集成以及 ONNX 等互操作性标准。

实验结果

研究问题

• RQ1 无代码 MLOps 框架在非专家用户的时间序列预测中，如何提升生产力和可访问性？
• RQ2 在实际能源应用中，使用自动化、无代码的深度学习工作流，能够实现多高的预测精度？
• RQ3 统一的用户界面和工作流编排系统，在协作环境中，如何有效集成多种机器学习/深度学习模型和数据源？
• RQ4 自动化 MLOps 在多大程度上可以减少模型训练、评估和部署流程中的手动工作量？
• RQ5 如何在协作式、无代码的预测平台中有效嵌入安全和访问控制机制？

主要发现

• DeepTSF 通过将复杂的机器学习工作流抽象为可视化、用户友好的界面，成功实现了无代码时间序列预测，显著降低了非专家用户的技术门槛。
• 该框架已在 I-NERGY 欧盟项目的真实应用场景中成功部署，证明了其在基于深度学习的短期负荷预测中的有效性。
• DeepTSF 支持与现有数据科学工作流程和工具（如 Darts、GluonTS 和 PyTorch-Forecasting）的无缝集成，提升了兼容性和生产力。
• 该系统提供全面的可视化和评估指标（如 RMSE、MAPE），使非技术背景的利益相关者无需技术专长即可理解模型性能。
• 通过身份管理和访问授权，安全机制得到有效实施，支持技术与非技术团队之间的安全协作。
• 该框架具备可扩展性，未来计划集成模型服务工具（如 Seldon、BentoML）和多种数据源，包括 InfluxDB 和 TimescaleDB 等时间序列数据库。