[논문 리뷰] TSGM: A Flexible Framework for Generative Modeling of Synthetic Time Series

Alexander Nikitin, Letizia Iannucci외 1명|arXiv (Cornell University)|2023. 05. 19.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

TSGM는 데이터 기반 및 시뮬레이터 기반 방법을 지원하는 오픈소스이자 확장 가능한 합성 시계열 데이터 생성을 위한 프레임워크로, 유사성, 최종 작업 성능, 일관성, 다양성 및 프라이버시를 포함한 평가를 가능하게 한다. 사용자 정의 학습, 내장된 메트릭, CLI 도구, 그리고 텐서플로우 및 텐서보드와의 통합을 통해 연구 및 산업 현장에서의 활용을 간소화하여, 개발 시간을 수주에서 수일로 크게 단축시킨다.

ABSTRACT

Temporally indexed data are essential in a wide range of fields and of interest to machine learning researchers. Time series data, however, are often scarce or highly sensitive, which precludes the sharing of data between researchers and industrial organizations and the application of existing and new data-intensive ML methods. A possible solution to this bottleneck is to generate synthetic data. In this work, we introduce Time Series Generative Modeling (TSGM), an open-source framework for the generative modeling of synthetic time series. TSGM includes a broad repertoire of machine learning methods: generative models, probabilistic, and simulator-based approaches. The framework enables users to evaluate the quality of the produced data from different angles: similarity, downstream effectiveness, predictive consistency, diversity, and privacy. The framework is extensible, which allows researchers to rapidly implement their own methods and compare them in a shareable environment. TSGM was tested on open datasets and in production and proved to be beneficial in both cases. Additionally to the library, the project allows users to employ command line interfaces for synthetic data generation which lowers the entry threshold for those without a programming background.

연구 동기 및 목표

• 실제 시계열 데이터의 부족성과 민감성 문제를 해결하기 위해 합성 데이터 생성을 가능하게 하기 위해.
• 통합적이고 확장 가능한 프레임워크를 통해 시계열 생성 모델링 분야의 연구자 및 전문가들이 접근하기 쉬운 환경을 조성하기 위해.
• 유사성, 최종 작업 성능, 예측 일관성, 다양성 및 프라이버시를 포함한 다면적 평가를 표준화하여 합성 시계열의 품질을 평가하기 위해.
• CLI 접근 방식, 사전 구축된 아키텍처, 그리고 텐서플로우 및 텐서보드와 같은 기존 머신러닝 도구와의 통합을 제공함으로써 연구 및 구현을 가속화하기 위해.
• 핵심적인 문제인 공정성과 프라이버시를 고려하여, 이러한 요소를 평가 메트릭으로 통합함으로써 합성 데이터 생성의 공정성과 프라이버시를 증진하기 위해.

제안 방법

• TSGM는 데이터 기반(예: GANs, VAEs) 및 시뮬레이터 기반(예: 가우시안 프로세스, 서rogate 모델) 시계열 생성을 위한 생성기 모듈을 포함하는 모듈식 프레임워크를 구현한다.
• 이 프레임워크는 사용자 정의 가능한 아키텍처 자료관을 포함하여, 다양한 생성 파이프라인 간에 신경망 컴포onent의 재사용 및 확장이 가능하도록 한다.
• 학습 수렴 및 중간 결과를 모니터링하기 위한 도구를 제공하며, 시각화를 위한 텐서보드 통합도 포함한다.
• 포괄적인 메트릭 세트는 유사성(예: 통계적 모멘트), 최종 작업 성능(예: 모델 정확도), 일관성, 다양성 및 프라이버시를 포함하여 합성 데이터의 품질을 평가한다.
• 비조건부 및 조건부 시계열 생성을 모두 지원하여 다양한 실생활 시나리오에의 적용 가능성을 높인다.
• 데이터 전처리, 증강, 시각화(예: t-SNE, 선형도), 그리고 내장된 데이터셋을 포함한 유틸리티를 제공하여 실험을 간소화한다.

실험 결과

연구 질문

• RQ1 통합적이고 확장 가능한 프레임워크는 합성 시계열 생성 방법의 재현성과 비교 가능성에 어떻게 기여하는가?
• RQ2 TSGM은 연구 및 산업 현장에서 시계열 생성 모델을 구현하고 평가하는 데 소요되는 시간을 어느 정도 줄일 수 있는가?
• RQ3 유사성, 최종 작업 성능, 일관성, 다양성 및 프라이버시를 포함한 제안된 평가 메트릭은 합성 시계열의 품질을 얼마나 잘 반영하는가?
• RQ4 TSGM은 하나의 상호운용 가능한 환경에서 데이터 기반 및 시뮬레이터 기반 생성 모델링 접근법을 효과적으로 지원할 수 있는가?
• RQ5 프레임워크에 프라이버시 및 공정성 메트릭을 통합함으로써 합성 시계열의 설계 및 평가에 어떤 영향을 미치는가?

주요 결과

• TSGM를 사용할 경우, 오픈소스 구현에서 예상되는 수주에서 수개월 분량의 시간이 소요되던 단일 시계열 생성 방법 통합 및 평가 과정이 몇 일로 단축되었다.
• CLI를 통해 사용자는 GPU에서 25초 이내, 2xGPU에서 21초 이내에 합성 시계열을 생성할 수 있었으며, 이는 높은 계산 효율성을 보여주었다.
• TPU 대비 CPU 대비 2배의 성능 향상을 달성하였으며, 첫 두 에포크의 학습 시간이 약 25분에서 약 16.5초로 감소하였다.
• 실험 결과, TSGM 내 모델은 다양한 데이터셋에서 효율적으로 학습되고 평가되었으며, 일관된 성능과 재현 가능한 결과를 보였다.
• 프레임워크의 내장 메트릭 덕분에 합성 데이터의 종합적 평가가 가능했으며, t-SNE나 손실 곡선 등의 시각화 도구가 모델 진단 및 수렴 모니터링에 기여하였다.
• 산업계 피드백에 따르면, TSGM는 접근 장벽을 크게 낮추어 빠른 프로토타이핑 및 합성 데이터 파이프라인의 구현을 가능하게 하였다.