[논문 리뷰] Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting

Kashif Rasul, Calvin Seward외 2명|arXiv (Cornell University)|2021. 01. 28.

Time Series Analysis and Forecasting인용 수 53

한 줄 요약

TimeGrad은 데이터 분포에서 각 단계마다 샘플링하는 다변량 확률적 시계열 예측을 위한 자기회귀 확산 기반 모델이며 여섯 개 실제 데이터세트에서 CRPS_sum 최첨단을 달성합니다.

ABSTRACT

In this work, we propose \ exttt{TimeGrad}, an autoregressive model for multivariate probabilistic time series forecasting which samples from the data distribution at each time step by estimating its gradient. To this end, we use diffusion probabilistic models, a class of latent variable models closely connected to score matching and energy-based methods. Our model learns gradients by optimizing a variational bound on the data likelihood and at inference time converts white noise into a sample of the distribution of interest through a Markov chain using Langevin sampling. We demonstrate experimentally that the proposed autoregressive denoising diffusion model is the new state-of-the-art multivariate probabilistic forecasting method on real-world data sets with thousands of correlated dimensions. We hope that this method is a useful tool for practitioners and lays the foundation for future research in this area.

연구 동기 및 목표

• 다수의 시계열 차원 간의 의존성을 포착하기 위해 다변량 확률 예측을 고취한다.
• 확산 과정을 사용하여 단계별 분포를 모델링하는 자기회귀 에너지 기반 모델(EBM)을 개발한다.
• 랜지빈 렝던 동역학과 과거 상태에 대한 자기회귀 조건화를 통해 예측 분포에서 샘플링을 가능하게 한다.
• 실제 대규모 데이터세트에서 TimeGrad를 다양한 기준선과 비교 평가하여 probabilistic forecast 개선을 입증한다.

제안 방법

• 확산 확률 모델을 사용하여 각 시간 단위 출력의 로그 밀도의 기울기(그레이디언트)를 학습한다.
• 과거 관측치와 공변량을 인코드하는 자기회귀 RNN(LSTM/GRU) 상태에 확산 기반 방출 모델을 조건화한다.
• 예측 잡음(ε_θ)에 대한 제곱오차 목표로 축약되는 가변 bound로 학습한다.
• 어닐링된 Langevin 동역학을 통해 미래 단계를 샘플링하여 예측 궤적을 생성한다.
• 훈련 및 추론을 안정시키기 위해 컨텍스트 윈도우 평균으로 시계열을 정규화한다.
• 카테고리형 및 연속형 공변량 임베딩을 도입하여 조건 정보를 풍부하게 한다.

실험 결과

연구 질문

• RQ1 TimeGrad가 고차원 다변량 시계열의 미래 시간 단계의 전체 조건부 분포를 모델링할 수 있는가?
• RQ2 자기회귀 확산 기반 접근 방식이 VAR, VAR-Lasso, GARCH, KVAE, Vec-LSTM 변형 및 Transformer 기반 MAF 방식과 확률적 예측 작업에서 어떻게 비교되는가?
• RQ3 확산 길이(N)가 예측 성능에 미치는 영향은 무엇이며 TimeGrad가 데이터세트의 크기와 차원성에 어떻게 확장되는가?
• RQ4 공변량 및 규모 정규화가 확률적 예측 품질에 어떤 역할을 하는가?

주요 결과

• TimeGrad는 다변량 확률적 예측에 대해 여섯 개의 실제 데이터세트에서 최첨단 성능을 달성하며 CRPS_sum에서 다양한 기준선을 능가한다.
• 데이터세트 전반에 걸쳐 TimeGrad가 종종 가장 좋은 CRPS_sum 점수를 산출하며 Table 2의 TimeGradRow 항목은 경쟁력 있거나 우수한 결과를 보인다.
• ablation 연구에서 확산 길이 N을 약 10으로 축소해도 손실이 최소화되며 Electricity에서 최적은 N ≈ 100이다.
• TimeGrad는 매우 높은 차원의 출력(최대 963 차원)에서도 강력한 성능을 보인다(교통 데이터셋).
• Ablation 결과 모델이 자기회귀 조건화와 확산 기반 방출 모델링의 이점을 가지되 훈련 중 플로우 기반 변환이 필요하지 않음을 시사한다.