[논문 리뷰] DeepTSF: Codeless machine learning operations for time series forecasting

Sotiris Pelekis, Evangelos Karakolis외 5명|arXiv (Cornell University)|2023. 07. 28.

Energy Load and Power ForecastingEngineering참고 문헌 37인용 수 3

한 줄 요약

DeepTSF는 사용자 친화적인 UI를 통해 기계 학습 생명 주기를 자동화하는 코드 없는 MLOps 프레임워크로, 데이터 과학자와 비코딩 전문가가 코드를 작성하지 않고도 딥러닝 모델을 빌드, 평가, 배포할 수 있도록 한다. 기존 워크플로우와 통합 가능하며, 보안에 적합한 액세스 제어를 지원하며, I-NERGY EU 프로젝트 내 실생활 단기 부하 예측에서 뛰어난 성능을 입증했다.

ABSTRACT

This paper presents DeepTSF, a comprehensive machine learning operations (MLOps) framework aiming to innovate time series forecasting through workflow automation and codeless modeling. DeepTSF automates key aspects of the ML lifecycle, making it an ideal tool for data scientists and MLops engineers engaged in machine learning (ML) and deep learning (DL)-based forecasting. DeepTSF empowers users with a robust and user-friendly solution, while it is designed to seamlessly integrate with existing data analysis workflows, providing enhanced productivity and compatibility. The framework offers a front-end user interface (UI) suitable for data scientists, as well as other higher-level stakeholders, enabling comprehensive understanding through insightful visualizations and evaluation metrics. DeepTSF also prioritizes security through identity management and access authorization mechanisms. The application of DeepTSF in real-life use cases of the I-NERGY project has already proven DeepTSF's efficacy in DL-based load forecasting, showcasing its significant added value in the electrical power and energy systems domain.

연구 동기 및 목표

• 기존 시계열 예측 파이프라인의 복잡성과 수작업 작업을 줄이기 위해 코드 없는 자동화된 기계 학습 운영을 제공한다.
• 데이터 과학자와 비기술적 이해관계자(예: 에너지 전문가) 사이의 격차를 직관적이고 시각화 기반 인터페이스로 메우기 위해 노력한다.
• 코드 없이도 데이터 수집, 모델 훈련, 평가, 배포를 포함한 종단 간 기계 학습 생명 주기를 간소화한다.
• 신원 관리 및 액세스 권한 부여를 통해 예측 워크플로우의 보안과 협업을 향상시킨다.
• 특히 I-NERGY EU 프로젝트에서의 단기 부하 예측에 실생활로 적용 가능한 에너지 시스템에 통합 지원을 제공한다.

제안 방법

• DeepTSF는 사용자가 코드 대신 설정 패널을 통해 예측 작업을 구성할 수 있는 웹 기반 프론트엔드 UI를 사용한다.
• 기존에 널리 사용되는 딥러닝 프레임워크(예: PyTorch, MXNet)와 통합되며, 내부적으로 Darts, GluonTS, PyTorch-Forecasting 등의 라이브러리를 활용한다.
• RMSE 및 MAPE와 같은 메트릭을 사용하여 자동화된 초모델 하이퍼파라미터 튜닝, 모델 선택 및 평가를 지원한다.
• 모델 추적 및 실험 관리를 위해 Docker와 MLflow를 활용하여 재현성과 버전 관리를 보장한다.
• 신원 관리 및 역할 기반 액세스 제어를 통해 보안을 강화하여 안전한 협업을 보장한다.
• 시계열 데이터베이스(예: InfluxDB, TimescaleDB) 및 ONNX와 같은 상호운용성 표준과의 통합을 지원하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 비전문가 사용자를 대상으로 코드 없는 MLOps 프레임워크가 시계열 예측의 생산성과 접근성에 어떻게 기여할 수 있는가?
• RQ2 실생활 에너지 응용 분야에서 자동화된 비코드 딥러닝 워크플로우로 달성할 수 있는 예측 정확도는 어느 정도인가?
• RQ3 통합된 UI와 워크플로우 오케스트레이션 시스템이 협업 환경에서 다양한 기계 학습/딥러닝 모델과 데이터 소스를 얼마나 효과적으로 통합할 수 있는가?
• RQ4 자동화된 MLOps가 모델 훈련, 평가, 배포 파이프라인에서 수작업을 얼마나 줄일 수 있는가?
• RQ5 협업 기반의 코드 없는 예측 플랫폼에 보안 및 액세스 제어를 효과적으로 통합하는 방법은 무엇인가?

주요 결과

• DeepTSF는 복잡한 기계 학습 워크플로우를 시각적이고 사용자 友好的 인터페이스로 추상화함으로써 비전문가 사용자의 코딩 장벽을 크게 줄이고 코드 없는 시계열 예측을 성공적으로 구현했다.
• 프레임워크는 I-NERGY EU 프로젝트 내 실생활 응용 사례에 배포되어 딥러닝 기반 단기 부하 예측의 효과성을 입증했다.
• Darts, GluonTS, PyTorch-Forecasting와 같은 기존 데이터 과학 워크플로우 및 도구와의 원활한 통합을 지원하여 호환성과 생산성을 향상시켰다.
• 시스템은 포괄적인 시각화 및 평가 메트릭(RMSE, MAPE 등)을 제공하여 기술 전문지식 없이도 이해관계자가 모델 성능을 쉽게 파악할 수 있도록 했다.
• 신원 관리 및 액세스 권한 부여를 통해 보안이 효과적으로 확보되어 기술적·비기술적 팀 간의 안전한 협업을 지원한다.
• 프레임워크는 확장성이 있으며, 향후 Seldon, BentoML 등의 모델 서빙 도구 및 InfluxDB, TimescaleDB와 같은 다양한 시계열 데이터베이스 등 다양한 데이터 소스와의 통합을 계획하고 있다.