[논문 리뷰] Probabilistic Time Series Forecasting with Structured Shape and Temporal Diversity

Vincent Le Guen, Nicolas Thome|arXiv (Cornell University)|2020. 10. 14.

Time Series Analysis and Forecasting참고 문헌 8인용 수 20

한 줄 요약

이 논문은 구조적인 형태와 시간적 다양성을 기반으로 하는 Differentiable, 양의 준정적(DPP) 커널을 사용하는 확률적 시계열 예측 프레임워크인 STRIPE를 제안한다. 분리된 잠재 공간에서 반복적 샘플링 기반의 질과 다양성 목표를 분리함으로써, STRIPE는 정확하고 날카운, 다양한 예측을 생성하며, 합성 및 실세계 데이터셋에서 상태의 최선(SOTA) 기법들보다 예측 정확도와 다양성 측면에서 뛰어난 성능을 보인다.

ABSTRACT

Probabilistic forecasting consists in predicting a distribution of possible future outcomes. In this paper, we address this problem for non-stationary time series, which is very challenging yet crucially important. We introduce the STRIPE model for representing structured diversity based on shape and time features, ensuring both probable predictions while being sharp and accurate. STRIPE is agnostic to the forecasting model, and we equip it with a diversification mechanism relying on determinantal point processes (DPP). We introduce two DPP kernels for modeling diverse trajectories in terms of shape and time, which are both differentiable and proved to be positive semi-definite. To have an explicit control on the diversity structure, we also design an iterative sampling mechanism to disentangle shape and time representations in the latent space. Experiments carried out on synthetic datasets show that STRIPE significantly outperforms baseline methods for representing diversity, while maintaining accuracy of the forecasting model. We also highlight the relevance of the iterative sampling scheme and the importance to use different criteria for measuring quality and diversity. Finally, experiments on real datasets illustrate that STRIPE is able to outperform state-of-the-art probabilistic forecasting approaches in the best sample prediction.

연구 동기 및 목표

• 비정상 시계열에 대해 날카우며 다양하고 정확한 확률적 예측을 생성하는 데 도전하는 것.
• 예측 경로의 형태와 시간적 변동성을 명시적으로 제어할 수 있는 구조적 다양성 메커니즘을 도입하는 것.
• 예측 정확도와 다양성 간의 상충 관계를 피하기 위해 확률적 예측에서 질과 다양성 목표를 분리하는 것.
• 반복적 샘플링을 통한 분리된 잠재 표현을 통해 다양성의 구조를 명시적으로 제어하는 것.
• 구조적 다양성과 품질 인식 학습을 조합함으로써 평균 예측 성능과 다양성 양측 모두를 향상시킬 수 있음을 입증하는 것.

제안 방법

• 미래 경로의 다양성 모델링을 위해 형태(비교적 DTW 기반)와 시간(TDI 기반) 특징에 대해 각각 다른iable, 양의 준정적 DPP 커널을 제안한다.
• 형태와 시간 성분이 반복적 샘플링 기반으로 명시적으로 분리된 분리된 잠재 공간 표현을 도입한다.
• DPP 기반의 다양성 메커니즘을 활용하여 높은 품질의 예측을 유지하면서도 중복되지 않는 다양한 예측을 보장한다.
• STRIPE에 의존하지 않는 예측 모델을 사용하여, 결정론적 및 생성 모델 모두와의 통합이 가능하다.
• 품질(예: DILATE)과 다양성(DPP 커널 기반)을 위한 별도의 손실 함수를 사용하는 다목적 학습 전략을 적용한다.
• 반복적으로 예측를 정밀하게 조정함으로써 잠재 공간 내에서 형태와 시간 표현을 분리하는 샘플링 기법을 구현한다.

실험 결과

연구 질문

• RQ1 확률적 예측에서 Differentiable, 양의 준정적 DPP 커널을 사용하여 형태와 시간의 구조적 다양성을 효과적으로 모델링할 수 있는가?
• RQ2 품질과 다양성 목표를 분리함으로써 예측 정확도와 다양성 간의 상충 관계가 개선되는가?
• RQ3 분리된 잠재 공간에서의 반복적 샘플링이 예측 경로의 형태 및 시간 특징의 분리도를 향상시키는가?
• RQ4 STRIPE는 평균 예측 정확도와 최고 샘플의 다양성 측면에서 SOTA 모델과 비교해 어떻게 성능을 내는가?
• RQ5 다양성 및 품질 메트릭의 선택이 확률적 예측 모델의 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• STRIPE S+T는 합성 및 실세계 데이터셋 모두에서 최고 샘플 경로 평가에서 모든 베이스라인 방법보다 뛰어나며, 낮은 MSE 및 DILATE 손실을 기록한다.
• ETTh1 및 ECL 데이터셋에서 STRIPE S+T는 최고 샘플 예측에서 최고 성능을 기록했으며, 심지어 SOTA 결정론적 모델인 N-BEATS를 능가했다.
• 반복적 샘플링 기반 메커니즘이 성공적으로 형태와 시간 표현을 분리하여, 더 구조적이고 해석 가능한 다양성을 예측에 반영했다.
• 실험 결과, STRIPE는 다양성을 크게 향상시키면서도 평균 예측 정확도를 유지하거나 약간 향상시키는 것으로 나타났다. 이는 다양성 확보를 위해 품질을 희생시키는 다른 모델들과는 다름.
• 산점도 분석 결과, STRIPE S+T는 DILATE 손실이 일관되게 낮고, 형태 다양성(DTW)과 시간 다양성(TDI) 간의 균형을 잘 이루었으며, 품질을 희생시키면서 다양성을 늘리는 다른 모델들과는 대조적으로 유의미한 성능을 보였다.
• 제거 분석 결과, 품질과 다양성에 대해 별도의 기준을 사용하는 것이 핵심임을 입증했다. 동일한 메트릭을 두 가지 목적으로 사용하는 모델들은 상충되는 목표로 인해 성능 저하를 겪었다.