[논문 리뷰] On the Constrained Time-Series Generation Problem

Andrea Coletta, Sriram Gopalakrishan외 2명|arXiv (Cornell University)|2023. 07. 04.

Energy Load and Power Forecasting인용 수 7

한 줄 요약

이 논문은 제약 조건이 있는 시계열 생성을 위한 새로운 지도형 확산 모델인 GuidedDiffTime를 제안한다. 이 모델은 재학습이 필요 없이 새로운 제약 조건 하에서도 효율적인 추론을 가능하게 하며, 현실감 있는 결과를 유지한다. 기존 방법보다 제약 조건 이행 성능이 뛰어나고, 재학습이 없는 추론 덕분에 이산화탄소 배출량을 최대 92% 감소시켜 금융 및 에너지 분야에서 동적 역행성 시나리오 생성에 이상적이다.

ABSTRACT

Synthetic time series are often used in practical applications to augment the historical time series dataset for better performance of machine learning algorithms, amplify the occurrence of rare events, and also create counterfactual scenarios described by the time series. Distributional-similarity (which we refer to as realism) as well as the satisfaction of certain numerical constraints are common requirements in counterfactual time series scenario generation requests. For instance, the US Federal Reserve publishes synthetic market stress scenarios given by the constrained time series for financial institutions to assess their performance in hypothetical recessions. Existing approaches for generating constrained time series usually penalize training loss to enforce constraints, and reject non-conforming samples. However, these approaches would require re-training if we change constraints, and rejection sampling can be computationally expensive, or impractical for complex constraints. In this paper, we propose a novel set of methods to tackle the constrained time series generation problem and provide efficient sampling while ensuring the realism of generated time series. In particular, we frame the problem using a constrained optimization framework and then we propose a set of generative methods including "GuidedDiffTime", a guided diffusion model to generate realistic time series. Empirically, we evaluate our work on several datasets for financial and energy data, where incorporating constraints is critical. We show that our approaches outperform existing work both qualitatively and quantitatively. Most importantly, we show that our "GuidedDiffTime" model is the only solution where re-training is not necessary for new constraints, resulting in a significant carbon footprint reduction, up to 92% w.r.t. existing deep learning methods.

연구 동기 및 목표

• 사용자가 지정한 수치적 제약 조건(예: 시장 위기 시나리오 또는 에너지 절약)을 만족하는 현실적인 시계열을 생성하는 데 도전한다.
• 제약 조건이 변경될 경우 재학습이 필요하거나 비용이 많이 드는 기각 샘플링에 의존하는 기존 딥 러닝 생성 모델의 한계를 극복한다.
• 금융 및 에너지 등 다양한 분야에 적용 가능한 유연하고 효율적이며 확장 가능한 역행성 시계열 생성 솔루션을 개발한다.
• 제약 조건이 변경될 때마다 재학습이 필요 없도록 하여 컴퓨팅 및 탄소 비용을 줄여 환경 영향을 최소화한다.
• 실제 데이터의 통계적 성질과 복잡하고 다양한 제약 조건을 모두 충족하는 고품질의 합성 시계열을 확보한다.

제안 방법

• 제약 조건이 있는 시계열 생성 문제를 제약 최적화 문제(COP)로 공식화하여 데이터 성질과 제약 조건을 명시적으로 모델링할 수 있도록 한다.
• 손실 예측 네트워크를 사용해 다중 제약 조건에 조건부로 생성하는 조건부 노이즈 제거 확산 모델인 DiffTime을 제안한다.
• 학습 중에 제약 조건을 미분 가능한 손실 페널티로 강제하는 Loss-DiffTime을 도입하여 효율적인 추론을 가능하게 하지만, 새로운 제약 조건에 대해선 재학습이 필요하다.
• 추론 시 제약 조건 임bedding을 사용해 생성 과정을 조정하는 지도형 확산 모델인 GuidedDiffTime을 개발하여 재학습이 필요 없도록 한다.
• 시간적 의존성을 모델링하고 고해상도 시계열을 생성하기 위해 노이즈 스케줄과 디노이징 U-Net 아키텍처를 사용한다.
• 생성된 시퀀스의 분포 유사성과 시간적 구조를 평가하기 위해 t-SNE 및 자기상관 분석을 적용한다.

실험 결과

연구 질문

• RQ1 재학습이 필요 없이 다양한 복잡한 제약 조건을 효과적으로 통합할 수 있는 확산 기반 생성 모델은 시계열 생성에 얼마나 효과적인가?
• RQ2 제약 조건 이행 성능와 생성 시계열의 현실감 측면에서 GuidedDiffTime은 기존 방법보다 어떻게 비교되는가?
• RQ3 제약 조건 인식 생성 기술은 재학습 기반 접근 방식에 비해 탄소 배출량을 얼마나 줄일 수 있는가?
• RQ4 제안된 모델은 추세, 고정 값, 전역 최소값, 다변량 등 다양한 유형의 제약 조건에 대해 얼마나 잘 일반화되는가?
• RQ5 제약 조건 충실도, 샘플 품질, 추론 효율성 간의 상호 상충 관계는 시계열 생성에서 어떻게 나타나는가?

주요 결과

• GuidedDiffTime는 OHLC 제약 조건이 있는 주식 데이터에서 72%의 제약 이행률을 달성하여 RTSGAN(54%)과 COSCI-GAN(2%)을 크게 앞서며 뛰어난 현실감을 유지한다.
• COP 기반 모델은 완벽한 제약 이행률(100%)을 달성하지만, 명시적 최적화가 필요하고 학습된 모델보다 유연성이 떨어진다.
• Loss-DiffTime는 효율적인 추론을 위해 69%의 제약 이행률을 기록하지만, 새로운 제약 조건에 대해선 재학습이 필요하여 확장성에 한계가 있다.
• GuidedDiffTime는 재학습 기반 딥 러닝 방법 대비 탄소 배출량을 최대 92% 감소시켜 지속 가능한 구현을 가능하게 한다.
• t-SNE 시각화 결과, GuidedDiffTime와 COP는 실제 데이터에 가까운 분포 유사성을 보이며, 기존 기준보다 뛰어난 성능을 보였다.
• 자기상관 분석 결과, GuidedDiffTime는 경쟁 모델 대비 수익률의 시간적 역학을 더 잘 유지하여 뛀난 생성 정밀도를 입증했다.