[논문 리뷰] Probabilistic Time Series Forecasting with Implicit Quantile Networks

Adèle Gouttes, Kashif Rasul외 3명|arXiv (Cornell University)|2021. 07. 08.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 10

한 줄 요약

이 논문은 복잡한 비모수적 출력 분포를 특정한 모수적 형태를 가정하지 않고 모델링할 수 있도록 암시적 히스토그램 네트워크(IQN)와 자동회귀 RNN를 결합한 딥러닝 프레임워크인 IQN-RNN을 제안한다. 이 방법은 엔드 투 엔드 훈련을 통해 연속적 순위 확률 점수(CRPS)를 최소화함으로써 실제 데이터셋에서 점추정 및 비모수적 예측 정확도 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Here, we propose a general method for probabilistic time series forecasting. We combine an autoregressive recurrent neural network to model temporal dynamics with Implicit Quantile Networks to learn a large class of distributions over a time-series target. When compared to other probabilistic neural forecasting models on real- and simulated data, our approach is favorable in terms of point-wise prediction accuracy as well as on estimating the underlying temporal distribution.

연구 동기 및 목표

• 기본 데이터 분포의 특정한 모수적 형태를 가정하지 않는 일반적인 확률적 시계열 예측 방법을 개발하는 것.
• 암시적 히스토그램 네트워크를 사용하여 예측 분포의 전반적인 구조를 모델링함으로써 점추정 및 확률적 예측 정확도를 향상시키는 것.
• 모수적 분포(예: 정규분포 또는 음이항분포)에 의존하지 않고도 시계열 데이터에 대한 불확실성 추정이 가능한 딥러닝 모델의 엔드 투 엔드 훈련을 가능하게 하는 것.
• 실제 및 시뮬레이션 데이터셋에서 DeepAR 및 SQF-RNN과 같은 기존 모델들과 경쟁 가능한 성능을 보여주는 것.

제안 방법

• 모델은 과거 관측치와 외생 변수를 기반으로 은닉 상태를 갱신함으로써 시간적 의존성을 인코딩하기 위해 자동회귀 RNN를 사용한다.
• 출력 분포는 균일한 난수 τ ∈ [0,1]를 타겟 분포의 분위수 값으로 매핑하는 암시적 히스토그램 네트워크(IQNs)를 통해 모델링된다.
• IQN 헤드는 연속적 순위 확률 점수(CRPS)의 적분형을 최소화함으로써 훈련된다. 이는 확률적 예측에 대한 적절한 점수 규칙이다.
• 모델은 신경망으로 매개변수화된 결정론적 함수를 통해 조건부 분위수 함수 q(τ | X_t, y_{t-1}, ..., y_0)를 학습한다.
• 훈련 목표는 τ ∈ [0,1]에 걸쳐 분위수 손실을 통합함으로써 명시적 밀도 모델링 없이도 전체 분포 학습이 가능하도록 한다.
• 이 프레임워크는 시리즈 간 공동증가성(comonotonicity)을 가정할 경우 단변량 및 다변량 확장도 지원한다.

실험 결과

연구 질문

• RQ1 특정한 모수적 형태를 가정하지 않는 딥러닝 모델이 데이터 분포의 특정한 모수적 형태 없이도 뛰어난 확률적 예측 성능을 달성할 수 있는가?
• RQ2 IQN-RNN은 DeepAR 및 SQF-RNN과 같은 기존의 RNN 기반 확률적 모델과 비교해 점추정 및 분포 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 IQN-RNN은 연속형, 유계형, 카운트 데이터를 포함한 다양한 시계열 분야로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 IQNs를 통한 암시적 분포 학습은 모델 복잡도 증가 없이도 더 나은 불확실성 정량화를 이끌어내는가?

주요 결과

• IQN-RNN는 전력, 교통, 위키백과의 세 가지 실세계 데이터셋에서 모두 가장 낮은 CRPS 점수를 기록하여 DeepAR, SQF-RNN, ETS를 모두 능가했다.
• 전력 데이터셋에서 IQN-RNN의 CRPS는 0.139였고, DeepAR-t는 0.172, SQF-RNN-50는 0.283였다.
• 전력 데이터셋에서 IQN-RNN는 점추정 RMSE(0.168)와 MAE(0.117) 모두에서 모든 기준 모델을 앞섰다.
• 모델은 연속형(전력), 유계형(교통), 카운트형(위키백과) 데이터 유형 모두에서 강력한 성능를 유지하여 뛰어난 내재성과 견고성을 보였다.
• 기준 모델들과 동일한 RNN 아키텍처와 하이퍼파라미터를 사용했음에도 불구하고 IQN-RNN는 뛰어난 성능를 달성했으며, 이는 IQN 헤드의 효과성을 시사한다.
• 점추정 정확도 향상에도 불구하고 확률적 지표에서 성능 저하가 발생하지 않아 일관된 불확실성 캘리브레이션을 보였다.