[논문 리뷰] Deep Factors with Gaussian Processes for Forecasting

Danielle C. Maddix, Yuyang Wang외 1명|arXiv (Cornell University)|2018. 11. 30.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 18

한 줄 요약

이 논문은 깊이 있는 요소와 가우시안 프로세스를 조합한 DFGP(Deep Factors with Gaussian Processes)를 제안한다. 이는 공유된 시간 패턴을 학습하는 딥러닝과 개별 시계열의 불확실성을 모델링하는 국소적 가우시안 프로세스를 결합한 확장 가능한 글로벌-로컬 모델이다. 주목적 기반의 깊이 있는 요소를 통해 글로벌 동역학을 모델링하고, GP 사전분포를 통해 국소적 변동성을 처리함으로써, 대규모 시계열 예측 작업에서 최신 기술 수준의 정확도와 뛰어난 불확실성 정량화 성능을 달성한다.

ABSTRACT

A large collection of time series poses significant challenges for classical and neural forecasting approaches. Classical time series models fail to fit data well and to scale to large problems, but succeed at providing uncertainty estimates. The converse is true for deep neural networks. In this paper, we propose a hybrid model that incorporates the benefits of both approaches. Our new method is data-driven and scalable via a latent, global, deep component. It also handles uncertainty through a local classical Gaussian Process model. Our experiments demonstrate that our method obtains higher accuracy than state-of-the-art methods.

연구 동기 및 목표

• 기존의 시계열 모델은 확장성이 떨어지고 글로벌 패턴 추출이 어려운 점과, 딥 뉴럴 네트워크는 불확실성 정량화에 어려움을 겪는 점을 해결하기 위해.
• 많은 시계열 간 공유되는 글로벌 패턴을 활용하면서도 개별 시계열의 변동성을 유지하는 확장 가능한 데이터 기반 예측 모델을 개발하기 위해.
• 국소적으로 확률적 가우시안 프로세스 모델을 통합하고 글로벌적으로 딥러닝을 적용하여 예측의 불확실성 전파를 가능하게 하기 위해.
• 제한된 학습 데이터로도 대규모 시계열 집합에서 높은 예측 정확도와 신뢰할 수 있는 불확실성 추정을 달성하기 위해.

제안 방법

• 모델은 각 시계열을 K개의 잠재적 깊이 동적 요소로 분해하며, 이 요소들은 시간적 어텐션을 갖는 RNN(예: LSTM)을 통해 학습된다. 이는 요소 기여도에 대한 가중치를 부여한다.
• 글로벌 요소 표현은 시계열별 특화된 어텐션 가중치와 조합되어 고정 효과 성분을 형성한다: $ f_{i,t} = w_i^T g_t(x_{i,t}) $.
• 국소적 랜덤 효과는 가우시안 프로세스 $ r_i \sim \text{GP}(0, \mathcal{K}_i(\cdot,\cdot)) $ 로 모델링되며, 개별 시계열의 이탈을 포착하고 불확실성 전파를 가능하게 한다.
• 관측된 값은 $ z_{i,t} \sim p(\cdot|u_{i,t}) $ 로 모델링되며, 여기서 $ u_{i,t} = f_{i,t} + r_{i,t} $ 이고, 효율적인 마진 분포 계산을 위해 가우시안 우도를 사용한다.
• 추론은 최대우도추정법을 통해 수행되며, 마진 분포는 $ p(z_i) = \mathcal{N}(f_i, \mathcal{K}_i + \sigma_i^2 \mathbb{I}) $ 로 계산되어 효율적인 학습이 가능하다.
• 모델는 GP에 라디얼 기저 함수(RBF) 커널을 사용하며, MXNet Gluon을 활용하고 p3.4xlarge SageMaker 인스턴스를 사용해 학습을 수행한다.

실험 결과

연구 질문

• RQ1 딥러닝과 가우시안 프로세스를 융합한 하이브리드 모델이 대규모 시계열 집합에서 최신 기술 수준의 방법보다 더 높은 예측 정확도를 달성할 수 있는가?
• RQ2 이러한 모델은 대규모 데이터셋에 대해 확장 가능하면서도 예측의 불확실성을 효과적으로 포착할 수 있는가?
• RQ3 어텐션 기반 깊이 있는 요소와 국소적 GPs를 갖는 글로벌-로컬 아키텍처가 순수 딥러닝 또는 순수 확률 모델보다 정확도와 불확실성 정량화 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ4 제한된 학습 데이터로도 냉시작 조건에서 모델이 얼마나 잘 일반화되는가?

주요 결과

• 전기 데이터셋에서 DFGP는 3일 예측 시 P90QL이 0.061을 기록하여 DeepAR(0.182)와 Prophet(0.103)보다 뚜렷이 뛰어난 불확실성 정량화 성능을 보였다.
• 전기 데이터셋의 24시간 예측에서 DFGP는 P90QL을 0.074로 줄였으며, DeepAR(0.100)와 Prophet(0.091)보다 뛰어난 불확실성 추정 성능을 보였다.
• 교통 데이터셋에서 DFGP는 3일 예측 시 P90QL이 0.093을 기록하여 DeepAR(0.162)와 Prophet(0.207)를 압도했다.
• 교통 데이터셋의 24시간 예측에서 DFGP는 P90QL이 0.090으로, DeepAR(0.149)와 Prophet(0.191)보다 뛰어난 성능을 보였다. 이는 불확실성 추정 측면에서 일관된 성과를 보였다.
• 24시간 전기 예측에서 DFGP는 RMSE를 454.307로 줄였으며, Prophet(783.598)와 DeepAR(2100.927)보다 높은 포oin트 예측 정확도를 확보했다.
• 단지 일주일의 학습 데이터로도 DFGP는 두 데이터셋 모두에서 뛰어난 성능을 기록하여 제한된 데이터에 대한 강건성과 확장성의 우수함을 입증했다.