[논문 리뷰] Deep Factors for Forecasting

Yuyang Wang, Alex Smola외 4명|arXiv (Cornell University)|2019. 05. 28.

Time Series Analysis and Forecasting참고 문헌 49인용 수 58

한 줄 요약

전역-로컬 하이브리드 프레임워크로 글로벌 딥 팩터(결정론적)와 로컬 확률적 시계열 구성요소를 결합하여 대규모의 교환가능한 시계열 컬렉션을 효율적으로 예측하고 불확실성을 정량화합니다.

ABSTRACT

Producing probabilistic forecasts for large collections of similar and/or dependent time series is a practically relevant and challenging task. Classical time series models fail to capture complex patterns in the data, and multivariate techniques struggle to scale to large problem sizes. Their reliance on strong structural assumptions makes them data-efficient, and allows them to provide uncertainty estimates. The converse is true for models based on deep neural networks, which can learn complex patterns and dependencies given enough data. In this paper, we propose a hybrid model that incorporates the benefits of both approaches. Our new method is data-driven and scalable via a latent, global, deep component. It also handles uncertainty through a local classical model. We provide both theoretical and empirical evidence for the soundness of our approach through a necessary and sufficient decomposition of exchangeable time series into a global and a local part. Our experiments demonstrate the advantages of our model both in term of data efficiency, accuracy and computational complexity.

연구 동기 및 목표

• 의존성 및 불확실성 정량화가 있는 관련 시계열 대규모 컬렉션에 대한 예측 동기를 제시한다.
• 딥 뉴럴 네트워크 요인과 로컬 확률적 구성요소를 결합하는 글로벌-로컬 모델을 제안한다.
• 비가우시안 가능도 처리와 시계열별 병렬 처리를 가능하게 하는 확장 가능한 추론을 개발한다.
• 합성 및 실제 데이터 세트에서 기존 방법에 비해 데이터 효율성과 정확도 향상을 보여준다.

제안 방법

• 전역 잠재 시퀀스 g와 조건부로 g에 의존하는 로컬 시계열 z_i를 갖는 교환가능 시계열을 형식화한다(데 피네티 기반 분해).
• 전역 요인은 결정론적 RNN 기반의 g_k이고 로컬 효과 r_i가 가우시안, ISSM, 또는 GP 모델을 사용하는 Deep Factor Models with Random Effects (DFM+RE)을 도입한다.
• 잠재 함수 u_i = f_i + r_i를 정의하고 f_i는 전역 요인의 가중 합으로 이루어진 고정 효과이다( f_i = sum_k w_{i,k} g_k ).
• 방출 z_{i,t} ~ p(z_{i,t}|u_i(x_{i,t}))를 모델링하며 가우시안 가능도 또는 비가우시안 가능도 옵션을 제공한다.
• 효율성을 위해 전역 및 로컬 계산을 분리하는 최대 우도 추정과 확장 가능한 변분 추론 방식으로 학습을 제공한다.
• 세 가지 구현: DF-RNN, DF-LDS, DF-GP를 논의하고 대응하는 추론(DF-LDS의 칼만 필터, DF-GP의 GP 주변 가능도)을 제시한다.

실험 결과

연구 질문

• RQ1 전역 잠재 요인 구조가 많은 시계열 간의 공통 동역학을 포착하는 반면 로컬 구성요소가 특이적 동작을 모델링할 수 있는가?
• RQ2 비가우시안 가능도일 때 특히 전역 결정론적 + 로컬 확률적 모델에 대해 확장 가능한 추론을 어떻게 수행할 수 있는가?
• RQ3 실제 데이터 세트에서 전적으로 로컬만 또는 전적으로 글로벌만 모델과 비교해 글로벌-깊은 요인이 데이터 효율성과 예측 정확도를 향상시키는가?
• RQ4 교환가능 시계열 이론(de Finetti)이 예측을 위한 글로벌-로컬 분해를 정당화하고 안내할 수 있는가?

주요 결과

• 제안된 글로벌-로컬 프레임워크는 교환가능 시계열을 글로벌 잠재 과정과 로컬 시계열로 원칙적으로 분해하여 확장 가능한 모형화를 가능하게 한다.
• 결정론적 RNN과 로딩으로 모델링된 글로벌 요인은 표준 RNN 예측기와 비교하여 데이터 효율성과 계산을 향상시킨다.
• 로컬 효과는 가우시안 노이즈, ISSM, 또는 GP로 모델링할 수 있어 정확한 또는 변분 주변 가능도와 불확실성 전파를 가능하게 한다.
• 합성 및 실제 데이터 세트에 대한 실험 결과 DF 모델이 제한된 학습 데이터에서 정확도와 변동성 측면에서 DeepAR, MQ-RNN, Prophet과 같은 벤치마크를 능가할 수 있음을 보여준다.