[논문 리뷰] ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generative Models

Tijin Yan, Hongwei Zhang외 3명|arXiv (Cornell University)|2021. 06. 18.

Time Series Analysis and Forecasting참고 문헌 47인용 수 14

한 줄 요약

ScoreGrad는 조건부 확률적 미분 방정식(SDE)과 스코어 매칭을 활용하여 다변량 확률적 시계열 예측을 위한 새로운 연속 에너지 기반 생성 모델을 제안한다. 이는 수치적 해법기반 역방향 SDE 해법과 MCMC 보정기를 통한 반복적 처리를 통해 유연하고 고성능의 예측을 가능하게 하며, 여섯 개의 실세계 데이터셋에서 최신 기준(SOTA) 성능을 달성한다. 이는 이 분야에서 연속 에너지 기반 모델이 처음으로 사용된 사례이다.

ABSTRACT

Multivariate time series prediction has attracted a lot of attention because of its wide applications such as intelligence transportation, AIOps. Generative models have achieved impressive results in time series modeling because they can model data distribution and take noise into consideration. However, many existing works can not be widely used because of the constraints of functional form of generative models or the sensitivity to hyperparameters. In this paper, we propose ScoreGrad, a multivariate probabilistic time series forecasting framework based on continuous energy-based generative models. ScoreGrad is composed of time series feature extraction module and conditional stochastic differential equation based score matching module. The prediction can be achieved by iteratively solving reverse-time SDE. To the best of our knowledge, ScoreGrad is the first continuous energy based generative model used for time series forecasting. Furthermore, ScoreGrad achieves state-of-the-art results on six real-world datasets. The impact of hyperparameters and sampler types on the performance are also explored. Code is available at https://github.com/yantijin/ScoreGradPred.

연구 동기 및 목표

• 기존 생성 모델의 한계, 즉 확산 모델에서의 노이즈 스케일 민감도와 고정된 스텝 수 계수 문제를 해결하기 위해.
• VAE와 정규화 흐름의 제약된 기능 형태를 피하는 일반적이고 유연한 다변량 확률적 예측 프레임워크를 개발하기 위해.
• 연속 시간 SDE를 통한 엔드 투 엔드 훈련 및 추론을 가능하게 하여 안정성과 하이퍼파rameter 안정성을 향상시키기 위해.
• 이전에 이 분야에서 탐색되지 않은 연속 에너지 기반 모델을 활용한 시계열 예측의 새로운 패러다임을 구축하기 위해.

제안 방법

• 깊은 신경망을 활용한 시계열 특징 추출 모듈을 통해 과거 시퀀스를 인코딩하는 프레임워크 구성.
• 연속 시간 SDE를 사용하여 데이터 분포의 스코어 함수를 학습하는 조건부 스코어 매칭 모듈을 통해 복잡한 의존성의 민감한 모델링을 가능하게 한다.
• 수치적 해법기반(예: 오일러-마르야마 또는 스토하스틱 룬게-쿠타 방법)으로 역방향 시간 SDE를 풀어 예측을 수행한다.
• 예측자-보정자 샘플링 전략을 적용: 예측자는 SDE 해법기를 사용해 시간을 거꾸로 진행하고, 보정자는 랭지에빈 역동성을 적용해 샘플을 정밀하게 보정한다.
• SDE 기반 스코어 매칭을 통해 훈련을 수행하며, 데이터 분포에 대한 기대 스코어 매칭 손실을 최소화한다.
• VE, VP, sub-VP 등 다양한 SDE를 평가하고, 추론에는 조상 샘플링 및 역확산 샘플러를 사용한다.

실험 결과

연구 질문

• RQ1 연속 에너지 기반 생성 모델은 다변량 시계열 예측에서 이산 확산 모델을 능가할 수 있는가?
• RQ2 SDE 선택(VE, VP, sub-VP)이 예측 성능와 훈련 안정성에 어떤 영향을 미치는가?
• RQ3 다양한 수치적 해법기 및 샘플링 전략(예: 오일러-마르야마 대비 역확산)이 예측 품질에 미치는 영향은 무엇인가?
• RQ4 노이즈 스케일 및 스텝 수와 같은 하이퍼파rameter 설정에 대해 이 프레임워크는 얼마나 강인한가?
• RQ5 제안된 프레임워크는 다양한 고차원 실세계 시계열 데이터셋에 일반화 가능한가?

주요 결과

• ScoreGrad는 전기, ETTh1, ETTh2, ETTm1, ETTm2, 날씨 등 여섯 개의 실세계 다변량 시계열 데이터셋에서 최신 기준 성능을 달성한다.
• TimeGrad와 같은 이산 확산 모델에 비해 하이퍼파ram터 조정에 대해 훨씬 뛰어난 강인성을 보이며, 특히 노이즈 스케일과 스텝 수 민감도에서 유리하다.
• SDE 유형에 따라 성능이 다름: VE 및 VP SDE는 일관된 성능 향상을 보였지만, sub-VP SDE는 유사한 훈련 손실에도 불구하고 일관성 없는 결과를 보였다.
• 예측자-보정자 샘플링 전략은 샘플 품질을 크게 향상시키며, 랭지에빈 역동성 보정기가 생성 품질을 향상시킨다.
• 조상 샘플링과 역확산 샘플러는 각기 다른 SDE에 효과적이며, sub-VP SDE에서는 역확산 샘플러가 더 우수한 성능을 보였다.
• 프레임워크는 일반화 가능하고 확장 가능하며, 아키텍처 제약 없이 다양한 SDE와 수치적 해법기를 지원한다.