[논문 리뷰] If You Like It, GAN It—Probabilistic Multivariate Times Series Forecast with GAN

Alireza Koochali|arXiv (Cornell University)|2021. 07. 08.

Stock Market Forecasting Methods참고 문헌 28인용 수 29

한 줄 요약

이 논문은 결정론적 점 예측 모델을 더 정확한 확률적 대응 모델로 전환할 수 있는 조건부 GAN 기반의 확률적 다변량 시계열 예측 모델인 ProbCast를 제안한다. 결정론적 모델의 아키텍처를 활용해 GAN 구성 요소의 설계를 이끌어내어 안정적인 훈련과 전기 및 환율 데이터셋에서 뛰어난 성능을 달성하였으며, 각각 CRPS∗ 향상률이 1.7% 및 17.2%에 이를 것으로 나타났다.

ABSTRACT

The contribution of this paper is two-fold. First, we present ProbCast—a novel probabilistic model for multivariate time-series forecasting. We employ a conditional GAN framework to train our model with adversarial training. Second, we propose a framework that lets us transform a deterministic model into a probabilistic one with improved performance. The motivation of the framework is to either transform existing highly accurate point forecast models to their probabilistic counterparts or to train GANs stably by selecting the architecture of GAN’s component carefully and efficiently. We conduct experiments over two publicly available datasets—an electricity consumption dataset and an exchange-rate dataset. The results of the experiments demonstrate the remarkable performance of our model as well as the successful application of our proposed framework.

연구 동기 및 목표

• 예측의 불확실성을 포착하는 확률적 다변량 시계열 예측 모델을 개발하는 것.
• 시계열 예측을 위한 GAN 훈련의 불안정성과 높은 하이퍼파rameter 민감도 문제를 해결하는 것.
• 기존의 결정론적 예측기 모델을 성능을 훼손하지 않고 더 정확한 확률적 모델로 변환할 수 있는 프레임워크를 제안하는 것.
• GAN 기반의 확률적 예측이 소규모 및 대규모 다변량 데이터셋 모두에서 결정론적 기준 모델을 능가할 수 있음을 보여주는 것.

제안 방법

• ProbCast는 P(Xt+1|Xt, ..., X0)를 모델링하기 위해 조건부 GAN 프레임워크를 사용하여 향후 값의 조건부 확률 분포를 학습한다.
• 생성기(G)는 노이즈 벡터 z와 결정론적 백본(그루오(GrU) + MLP)을 사용하여 다변량 예측을 생성하며, 사전에 훈련된 결정론적 모델의 아키텍처에서 유도된 설계를 따른다.
• 판별기(D)는 실재의 미래 시퀀스와 생성된 시퀀스를 구별하기 위해 GRU 블록과 밀집층을 사용하며, 적대적 손실을 통해 훈련된다.
• 하이브리드 손실 함수는 표준 GAN 손실과 CRPS∗ 기반 목적함수를 결합하여 확률적 예측의 캘리브레이션과 날카움을 향상시킨다.
• 프레임워크는 유전 알고리즘을 사용해 최적의 GAN 구성 요소 아키텍처를 탐색하며, 결정론적 모델의 구조를 재사용함으로써 탐색 공간을 줄인다.
• 입력 윈도우 크기, 노이즈 크기, GRU 레이어 구성 등 하이퍼파ram터는 이 프레임워크를 사용해 각 데이터셋에 맞게 최적화된다.

실험 결과

연구 질문

• RQ1 안정적인 수렴을 보장하면서 다변량 시계열 예측에 대해 조건부 GAN을 효과적으로 훈련시킬 수 있는가?
• RQ2 GAN을 활용해 결정론적 점 예측 모델을 체계적으로 더 정확한 확률적 모델로 변환할 수 있는가?
• RQ3 제안된 프레임워크는 GAN의 아키텍처 탐색 공간을 줄이면서도 예측 성능을 향상시킬 수 있는가?
• RQ4 실제 세계 데이터셋에서, 결과적으로 도출된 확률적 모델이 결정론적 모델 대비 캘리브레이션과 날카움 측면에서 어떻게 성능을 냈는가?

주요 결과

• 전기 데이터셋에서 ProbCast는 CRPS∗ 232.00을 기록하여 결정론적 기준 모델(235.96)을 초월해 1.7% 향상된 성과를 보였다.
• 작은 규모의 환율 데이터셋에서는 ProbCast가 결정론적 모델 대비 CRPS∗ 8.66×10⁻³을 기록하여 1.04×10⁻²보다 17.2%의 상대적 향상률을 보였다.
• 프레임워크는 결정론적 모델을 성공적으로 확률적 모델로 변환하여 정확도 향상을 달성하였으며, 결정론적 모델의 아키텍처 사전 지식이 GAN 훈련의 안정성과 성능 향상에 기여함을 입증하였다.
• 다양한 특성 수와 데이터 크기를 가진 데이터셋 간에서 일반화 가능했으며, 고차원(전기) 및 저차원(환율) 시계열 모두에서 강건성을 입증하였다.
• CRPS∗를 메트릭으로 사용함으로써 결정론적 모델와의 직접 비교가 가능했으며, ProbCast는 더 나은 캘리브레이션과 날카움을 보였다.
• 유전 알고리즘 기반 하이퍼파ram터 탐색은 최적의 아키텍처를 효율적으로 탐색하여, GAN 하이퍼파ram터 튜닝의 부담을 줄일 수 있음을 검증하였다.