[논문 리뷰] Regular Time-series Generation using SGM

Haksoo Lim, Minjung Kim외 2명|arXiv (Cornell University)|2023. 01. 20.

Time Series Analysis and Forecasting인용 수 8

한 줄 요약

이 논문은 조건부 점수 기반 생성 모델인 TSGM를 도입하여 인코더–디코더를 통해 잠재 공간에서 조건부 점수 함수를 학습하고 특수한 denoising score matching 손실로 시계열 합성을 수행하며 샘플링 품질과 다양성에서 최첨단 결과를 달성한다.

ABSTRACT

Score-based generative models (SGMs) are generative models that are in the spotlight these days. Time-series frequently occurs in our daily life, e.g., stock data, climate data, and so on. Especially, time-series forecasting and classification are popular research topics in the field of machine learning. SGMs are also known for outperforming other generative models. As a result, we apply SGMs to synthesize time-series data by learning conditional score functions. We propose a conditional score network for the time-series generation domain. Furthermore, we also derive the loss function between the score matching and the denoising score matching in the time-series generation domain. Finally, we achieve state-of-the-art results on real-world datasets in terms of sampling diversity and quality.

연구 동기 및 목표

• 고품질이고 다양한 시계열 합성을 예측 및 보간을 넘어 가능하게 한다.
• 조건부 샘플링을 통해 시계열 생성을 위해 점수 기반 생성 모델(SGMs)을 확장한다.
• 완전 순환하는 시계열 데이터에 맞춘 denoising score matching 손실을 개발한다.
• 실세계 데이터 생성을 위한 실용적인 인코더–디코더 + 조건부 score 네트워크 프레임워크(TSGM)를 제안한다.
• 여러 데이터셋에 걸쳐 최첨단 생성 품질과 다양성을 입증한다.

제안 방법

• 시간-series SGM(TSGM)을 세 가지 구성요소: 인코더, 디코더, 그리고 시계열 생성을 위해 설계된 조건부 점수 네트워크를 포함하여 제안한다.
• 시계열을 잠재 공간으로 매핑하고 다시 매핑하기 위해 RNN 기반 인코더–디코더를 사전 학습하여 시간적 구조를 포착한다.
• 확산된 잠재 표현에 대한 조건부 로그 가능도(cond log-likelihood)의 기울기를 학습하는 조건부 점수 네트워크를 학습하며, 시계열에 맞춘 denoising score matching 목적함수(L_score^H)를 사용한다.
• 잠재 표현에 대한 순방향 SDE를 사용해 h_t^s를 확산하고, 학습된 점수 네트워크를 이용한 예측-보정 샘플링 절차를 적용해 h_t를 생성한 뒤 이를 x_1:T로 복원한다.
• 두 가지 SDE 변형(VP 및 subVP)을 제시하고, 사전 학습, 네트워크 깊이 및 샘플링 단계의 영향을 보여주는 제거 연구를 수행한다.

실험 결과

연구 질문

• RQ1 SGMs를 불조건 시계열 생성에 효과적으로 적용하기 위해 적절한 조건부 점수 형식이 필요한가?
• RQ2 완전 순환적이고 조건부인 시계열 생성의 특성을 반영하는 denoising score matching 목적함수를 어떻게 설계하는가?
• RQ3 잠재 공간 SGM과 RNN 인코더–디코더를 사용할 때 실제 데이터 세트에서 충실도와 다양성의 향상을 얼마나 달성할 수 있는가?
• RQ4 VP와 subVP SDE 설정은 품질과 다양성 측면에서 시계열 생성에 어떻게 비교되는가?
• RQ5 아키텍처 선택(예: U-Net 깊이, 샘플링 단계)이 성능과 효율성에 미치는 영향은 무엇인가?

주요 결과

모델	Stock Disc.	Stock Pred.	Energy Disc.	Energy Pred.	Air Disc.	Air Pred.	AI4I Disc.	AI4I Pred.	Occupancy Disc.	Occupancy Pred.
TSGM-VP	.022 ± .005	.037?	.221 ± .025	.?	.122 ± .014	.?	.147 ± .005	.?	.402 ± .004	.?
TSGM-subVP	.021 ± .008	.?	.198 ± .025	.?	.127 ± .010	.?	.150 ± .010	.?	.414 ± .008	.?
TimeGAN	.102 ± .031	.238 ± .?	.236 ± .012	.?	.447 ± .017	.?	.070 ± .009	.?	.365 ± .014	.?
RCGAN	.196 ± .027	.292 ± .005	.336 ± .017	.?	.459 ± .104	.?	.234 ± .015	.?	.485 ± .001	.?
C-RNN-GAN	.399 ± .028	.483 ± .005	.499 ± .001	.?	.499 ± .000	.?	.499 ± .001	.?	.467 ± .009	.?
TimeVAE	.175 ± .031	.268 ± .004	.498 ± .006	.?	.381 ± .037	.?	.446 ± .024	.?	.415 ± .050	.?
WaveGAN	.217 ± .022	.307 ± .007	.363 ± .012	.?	.491 ± .013	.?	.481 ± .034	.?	.309 ± .039	.?
COT-GAN	.285 ± .030	.498 ± .000	.498 ± .000	.?	.423 ± .001	.?	.411 ± .018	.?	.443 ± .014	.?
Original Disc	.036 ± .001	.250 ± .003	.004 ± .000	.217 ± .000	.019 ± .000	.?	.?	?	?

• TSGM은 다섯 개의 실제 데이터세트에서 10개의 평가 시나리오에 걸쳐 최첨단 결과를 달성했고, 생성 품질과 다양성이 우수하다.
• TSGM은 판별 및 예측 점수에서 대다수의 강력한 기준선(TimeGAN 및 TimeVAE 포함)을 일반적으로 능가하며, 여러 데이터세트에서 원 데이터의 예측 성능에 근접한 성능을 보인다.
• 완전 순환적 시계열 설정에 맞춘 새로운 denoising score matching 형식은 올바르고 효과적인 학습 목적을 제공한다(정리 1).
• t-SNE 시각화는 TSGM이 기준선보다 더 높은 다양성과 원래 데이터의 충실한 회상을 보임을 시사한다.
• 제한 실험 및 민감도 연구는 사전 학습의 중요성, U-Net 깊이의 영향, 샘플링 스텝 수가 성능과 효율성에 미치는 영향을 보여준다.