[논문 리뷰] Multivariate Probabilistic Time Series Forecasting via Conditioned Normalizing Flows

Kashif Rasul, Abdul-Saboor Sheikh외 3명|arXiv (Cornell University)|2020. 02. 14.

Time Series Analysis and Forecasting참고 문헌 46인용 수 55

한 줄 요약

이 논문은 RNN/Transformer 상태에 조건부를 갖춘 자동회귀 조건부 정규화 흐름 모델(Real NVP/MAF)을 제시하여 불확실성을 갖춘 고차원 다변량 시계열을 예측하고 여러 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Time series forecasting is often fundamental to scientific and engineering problems and enables decision making. With ever increasing data set sizes, a trivial solution to scale up predictions is to assume independence between interacting time series. However, modeling statistical dependencies can improve accuracy and enable analysis of interaction effects. Deep learning methods are well suited for this problem, but multivariate models often assume a simple parametric distribution and do not scale to high dimensions. In this work we model the multivariate temporal dynamics of time series via an autoregressive deep learning model, where the data distribution is represented by a conditioned normalizing flow. This combination retains the power of autoregressive models, such as good performance in extrapolation into the future, with the flexibility of flows as a general purpose high-dimensional distribution model, while remaining computationally tractable. We show that it improves over the state-of-the-art for standard metrics on many real-world data sets with several thousand interacting time-series.

연구 동기 및 목표

• 확률적이고 다변량 시계열 예측을 단변량 또는 독립 가정 너머로 동기화합니다.
• 수천 개의 상호 작용하는 시계열 간의 의존성을 포착하는 엔드-투-엔드 학습 가능 모델을 개발합니다.
• autoregressive dynamics와 조건부 노멀라이징 흐름을 통한 유연한 밀도 추정을 결합합니다.
• 실세계 데이터셋에서 확장성 및 경쟁력 있는 성능을 입증합니다.
• RNN과 Transformer를 통한 조건화 메커니즘을 탐구하여 시간적 구조를 포착합니다.

제안 방법

• 조건부 결합 분포 p(X_t|h_t)를 자동회귀 상태 h_t에 조건화된 흐름(Real NVP 또는 MAF)으로 모델링합니다.
• 흐름의 조건화를 생성하기 위해 자동회귀 백본(RNN 또는 Transformer)을 사용합니다.
• SGD/Adam을 사용하여 시간 단계와 시계열 전체에 걸친 조건부 로그 가능도 최대화를 통해 학습합니다.
• 훈련을 안정시키고 성능을 향상시키기 위해 시계열별 평균 스케일링과 같은 정규화를 적용합니다.
• Jacobian 속성을 보존하면서 흐름 입력과 h의 연결(concatenation) 또는 바이어스 항을 통해 조건화를 처리합니다.
• 학습된 h_t에 조건화된 흐름에서 샘플링하여 궤적 샘플링 및 불확실성 정량화를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 고정된 조건부 정규화 흐름이 고차원 시계열의 전체 결합 분포를 효율적으로 모델링할 수 있는가?
• RQ2 자 autocorative 조건자(RNN 또는 Transformer)가 상호 작용하는 수천 개의 시계열에 대해 확장 가능하고 정확한 확률적 예측을 가능하게 하는가?
• RQ3 조건화가 교차 시리즈 의존성과 시간적 동역학을 포착하는 능력에 어떤 영향을 미치는가?
• RQ4 현실 세계 벤치마크에서 흐름 기반 다변량 예측의 경험적 성능(CRPS)이 최첨단 방법과 비교해 어떠한가?

주요 결과

• 제안된 LSTM-Real-NVP, LSTM-MAF, Transformer-MAF가 여섯 개의 실제 데이터셋에서 최첨단 CRPS_sum를 달성합니다.
• Transformer-MAF 및 RNN-조건화 흐름이 Vec-LSTM 및 GP 기반 방법을 포함한 경쟁적 베이스라인을 다수 지표에서 능가합니다.
• 데이터에서 관찰된 교차 공분산 구조가 모델에서 샘플링한 샘플로 거의 회복되어 의존성 학습이 우수함을 나타냅니다.
• 자동회귀 조건화와 함께 흐름 기반 방출을 사용하면 수천 개의 상호 작용하는 시계열로 규모가 확장되며 계산적으로도 타당합니다.
• MAF가 평가된 설정에서 일반적으로 Real-NVP보다 밀도 모델링이 우수합니다.