[논문 리뷰] pyWATTS: Python Workflow Automation Tool for Time Series

Benedikt Heidrich, Andreas Bartschat외 8명|arXiv (Cornell University)|2021. 06. 18.

Time Series Analysis and Forecasting참고 문헌 7인용 수 9

한 줄 요약

pyWATTS는 시계열 분석을 위한 비순차적이고 모듈화된 워크플로 자동화를 가능하게 하는 오픈소스이자 플랫폼에 종속되지 않는 파이썬 프레임워크입니다. scikit-learn, PyTorch, Keras의 원활한 통합을 명확한 인터페이스, 재사용 가능한 서브파이프라인, 파이프라인 지속성 기능을 통해 지원하여 재사용성과 재현 가능성의 핵심 과제를 해결합니다. 이는 시계열 연구에서의 재사용성과 재현 가능성 문제를 해결합니다.

ABSTRACT

Time series data are fundamental for a variety of applications, ranging from financial markets to energy systems. Due to their importance, the number and complexity of tools and methods used for time series analysis is constantly increasing. However, due to unclear APIs and a lack of documentation, researchers struggle to integrate them into their research projects and replicate results. Additionally, in time series analysis there exist many repetitive tasks, which are often re-implemented for each project, unnecessarily costing time. To solve these problems we present exttt{pyWATTS}, an open-source Python-based package that is a non-sequential workflow automation tool for the analysis of time series data. pyWATTS includes modules with clearly defined interfaces to enable seamless integration of new or existing methods, subpipelining to easily reproduce repetitive tasks, load and save functionality to simply replicate results, and native support for key Python machine learning libraries such as scikit-learn, PyTorch, and Keras.

연구 동기 및 목표

• 기존 도구의 일관되지 않은 API와 열악한 문서화로 인해 시계열 분석에서 재사용성과 재현성이 부족한 문제를 해결하기 위해.
• 결측치 보간, 캘린더 특성 추출, 계절성 조정과 같은 반복적인 전처리 작업을 재구현하는 데 발생하는 중복을 줄이기 위해.
• 연구자가 새로운 또는 제3자 기반 머신러닝 방법을 표준화되고 조합 가능한 파이프라인에 쉽게 통합할 수 있도록 하기 위해.
• 기존 도구의 선형 파이프라인에 국한되지 않고 조건부 실행 및 병렬 처리를 포함한 비순차 워크플로우를 지원하기 위해.
• 완전한 실험 재현성을 위해 파이프라인 설정을 저장, 로드, 공유할 수 있는 모듈화되고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• pyWATTS는 모든 구성 요소에 대해 명확히 정의된 인터페이스(fit 및 transform 메서드)를 갖춘 모듈식 아키텍처를 사용하여, 새로운 또는 기존 방법의 즉시 통합을 가능하게 합니다.
• 서브파이프라인 기능을 통해 전처리 또는 특성 공학과 같은 재사용 가능한 구성 요소를 캡슐화하고 여러 워크플로우 간에 재사용할 수 있습니다.
• 일반적인 워퍼를 통해 scikit-learn, PyTorch, Keras와 같은 주요 머신러닝 라이브러리와의 네이티브 통합을 지원하여 종단 간 파이프라인 실행을 가능하게 합니다.
• 조건부 실행, 분기 및 병합 경로를 포함한 비순차적 워크플로우를 구현하여, scikit-pipeline 및 river와 같은 도구의 선형 실행 제약을 초월합니다.
• 중간 결과의 시각화를 지원하고, cloudpickle를 사용한 직렬화를 통해 플랫폼에 종속되지 않는 파이프라인 지속성을 제공합니다.
• 구조화된 데이터 처리를 위해 xarray를 사용하여 파이프라인 전반에 걸쳐 강력하고 확장 가능한 시계열 데이터 관리가 가능합니다.

실험 결과

연구 질문

• RQ1 시계열 분석 워크플로우는 순차적 및 비순차적 실행 경로를 모두 지원하는 방식으로 어떻게 자동화될 수 있는가?
• RQ2 PyTorch 및 Keras와 같은 기존 머신러닝 라이브러리가 통합된 단일, 재사용 가능한 파이프라인 프레임워크에 얼마나 원활하게 통합될 수 있는가?
• RQ3 서브파이프라인 및 파이프라인 지속성 기능이 시계열 실험의 재사용성과 재현성에 크게 기여할 수 있는가?
• RQ4 조건 기반 모듈 선택 메커니즘이 데이터 특성 또는 시간대 조건에 따라 워크플로우를 어떻게 적응시킬 수 있는가?
• RQ5 모듈화되고 확장 가능한 프레임워크는 일반적인 전처리 및 모델링 단계를 다시 구현하는 데 소요되는 시간과 노력을 줄일 수 있는가?

주요 결과

• pyWATTS는 조건부, 분기 및 병렬 경로를 포함한 비순차적 파이프라인 실행을 가능하게 하여, scikit-pipeline 및 river와 같은 기존 도구의 선형 실행 제약을 초월합니다.
• 일반 워퍼를 통해 scikit-learn, PyTorch, Keras를 성공적으로 통합하여 단일 파이프라인 내에서 종단 간 딥러닝 및 전통적 머신러닝 워크플로우를 모두 지원합니다.
• 서브파이프라인을 통해 캘린더 특성 추출 또는 결측치 보간과 같은 일반적인 처리 단계를 캡슐화하고 여러 실험 간에 재사용할 수 있어 재구현이 필요 없습니다.
• 저장/로드 기능을 통한 파이프라인 지속성으로 인해, 다양한 환경이나 시간대 간에도 실험의 완전한 재현성이 보장됩니다.
• 조건 메커니즘을 통해 데이터 특성에 따라 모듈을 동적으로 선택할 수 있으며, 전력 수요 예측에서 낮과 밤에 따라 예측 모델을 전환하는 데 유용합니다.
• 에너지 시스템 연구 분야에서의 응용 사례로는 합성 시계열 생성 및 이상치 주입이 포함되어 있어, 프레임워크의 확장성과 실용적 유용성을 입증하였습니다.