[논문 리뷰] Diffusion Models for Time Series Applications: A Survey

Lequan Lin, Zhengkun Li외 3명|arXiv (Cornell University)|2023. 05. 01.

Complex Systems and Time Series Analysis인용 수 9

한 줄 요약

확산 기반 모델을 시간 시계열 예측, 보간, 및 생성을 위한 설문조사로, TimeGrad, ScoreGrad 및 관련 방법과의 연결을 포함합니다.

ABSTRACT

Diffusion models, a family of generative models based on deep learning, have become increasingly prominent in cutting-edge machine learning research. With a distinguished performance in generating samples that resemble the observed data, diffusion models are widely used in image, video, and text synthesis nowadays. In recent years, the concept of diffusion has been extended to time series applications, and many powerful models have been developed. Considering the deficiency of a methodical summary and discourse on these models, we provide this survey as an elementary resource for new researchers in this area and also an inspiration to motivate future research. For better understanding, we include an introduction about the basics of diffusion models. Except for this, we primarily focus on diffusion-based methods for time series forecasting, imputation, and generation, and present them respectively in three individual sections. We also compare different methods for the same application and highlight their connections if applicable. Lastly, we conclude the common limitation of diffusion-based methods and highlight potential future research directions.

연구 동기 및 목표

• 새로운 연구자들을 위해 체계적인 개요를 제공하기 위해 시간 시계열에 적용된 확산 모델 기반 방법을 조사한다.
• 핵심 확산 형식(DDPMs, SGMs, SDEs)과 이것이 시간 시계열 작업에 어떻게 적응되는지 설명한다.
• 적용 분야별로 방법을 분류하고: 예측, 보간, 생성 및 시공간 확장에 대해 논의한다.

제안 방법

• 정방향 확산 과정과 역확산 과정을 설명하고 신경망이 역전이를 어떻게 모델링하는지 설명한다.
• DDPM, SGM, SDE 관점을 핵심 방정식과 단순화(예: 가우시안 잡음, 스코어 매칭)과 함께 제시한다.
• TimeGrad 및 ScoreGrad가 과거를 조건으로 다변수 시간 시계열 예측에 확산을 어떻게 적용하는지 설명한다.
• 노이즈가 많거나 데이터가 제한된 상황에서의 D3VAE의 결합 확산 및 BVAE 프레임워크와 잠재적 해탈(disentanglement)을 설명한다.
• 시간 시계열 용으로 연속 프로세스 확산의 변형인 DSPD와 CSPD를 소개한다.

실험 결과

연구 질문

• RQ1 시간 시계열에 적용 가능한 주요 확산 모델 형식(DDPMs, SGMs, SDEs)은 무엇이며 개념적으로와 계산적으로 어떻게 다른가?
• RQ2 과거 기록과 공변량의 조건부를 포함하여 시간 시계열 예측, 보간 및 생성을 위해 확산 모델이 어떻게 적응되는가?
• RQ3 주요 모델(TimeGrad, ScoreGrad, D3VAE, DSPD, CSPD)의 문제 설정과 목표에서의 연계점과 차이점은 무엇인가?
• RQ4 시간 시계열 작업에 확산 모델을 적용할 때의 한계와 향후 방향은 무엇인가?

주요 결과

• 확산 모델 프레임워크는 순방향 노이즈 주입과 학습된 역잡음 제거를 통해 시간 시계열에 맞게 조정될 수 있어 예측, 보간 및 생성을 가능하게 한다.
• DDPM, SGM, SDE 형식은 시간 시계열 맥락에서 통합되며 VP/VE SDE와 같은 변형 및 예측자-수정자 샘플러가 샘플링을 안내한다.
• TimeGrad와 ScoreGrad는 다변수 시계열의 시간적 동적을 포착하기 위해 과거 맥락과 공변량에 대한 조건화를 보여준다.
• D3VAE는 제한적/노이즈가 있는 데이터에서 강건성을 개선하기 위해 데이터 증강과 잠재적 해탈(disentanglement)을 위한 결합 확산을 도입한다.
• DSPD는 가우시안 프로세스를 잡음 함수로 사용하여 DDPM을 연속 시간 프로세스로 일반화하고 연속 시간 예측 및 다포인트 샘플링을 효과적으로 가능하게 한다.
• CSPD는 CSPD를 연속 확률 프로세스로 확장하여 연속 확산과 시간 시계열 확산을 통합한다.
• 본 설문조사는 일반적인 한계를 강조하고 확산 기반 시간 시계열 방법에서의 잠재적 향후 연구 방향을 제시한다.