[논문 리뷰] A Multi-Horizon Quantile Recurrent Forecaster

Ruofeng Wen, Kari Torkkola외 2명|arXiv (Cornell University)|2017. 11. 29.

Time Series Analysis and Forecasting참고 문헌 22인용 수 257

한 줄 요약

MQ-RNN을 제안하는 Seq2Seq 프레임워크로, 포킹-시퀀스 학습과 horizon-specific context를 활용하여 정적/미래 공변량 및 교차-시계열 학습을 처리하고 다-수평선 probabilistic quantile forecasts를 생성합니다.

ABSTRACT

We propose a framework for general probabilistic multi-step time series regression. Specifically, we exploit the expressiveness and temporal nature of Sequence-to-Sequence Neural Networks (e.g. recurrent and convolutional structures), the nonparametric nature of Quantile Regression and the efficiency of Direct Multi-Horizon Forecasting. A new training scheme, *forking-sequences*, is designed for sequential nets to boost stability and performance. We show that the approach accommodates both temporal and static covariates, learning across multiple related series, shifting seasonality, future planned event spikes and cold-starts in real life large-scale forecasting. The performance of the framework is demonstrated in an application to predict the future demand of items sold on Amazon.com, and in a public probabilistic forecasting competition to predict electricity price and load.

연구 동기 및 목표

• 일반적인 확률적 다단계 시계열 회귀 프레임워크를 개발한다.
• Seq2Seq 신경망을 분위수 회귀 및 Direct Multi-Horizon forecasting과 통합한다.
• 엔코더-디코더 아키텍처를 위한 안정적인 학습Scheme(포킹-시퀀스)을 도입한다.
• temporal/static covariates, 미래에 알려진 이벤트, 교차-시리즈 학습을 수용한다.
• 대규모 Amazon 수요 데이터 및 공공 전력 예측 작업에서의 효과를 입증한다.

제안 방법

• 역사를 숨겨진 상태로 요약하기 위한 Seq2Seq 기반 인코더를 사용한다.
• 글로벌 MLP 컨텍스트와 horizon-specific local MLP를 통해 다-수평선 quantile forecast의 K×Q 출력을 생성한다.
• 수평선 및 분위수의 합을 최소화하는 손실 함수로 학습한다.
• 여러 시점에서 공유 파라미터를 가진 디코더를 생성하는 포킹-시퀀스 학습으로 일회 다-수평선 학습을 가능하게 한다.
• 수평선별 컨텍스트와 글로벌 컨텍스트를 통해 알려진 미래 정보와 미래 정렬 특성을 도입한다.
• 향상된 성능을 위한 엔코더 확장(NARX 유사 스킵, 래그 입력, WaveNet 스타일 확장 합성곱)을 허용하고 정적/미래 특성을 활용한다.

실험 결과

연구 질문

• RQ1 Seq2Seq 아키텍처를 시계열의 다-수평선 분위수 예측으로 직접 출력하도록 적용할 수 있는가?
• RQ2 분위수 회귀를 가진 Direct Multi-Horizon 접근법이 재귀적 방법보다 더 강건하고 보정된 확률적 예측을 제공하는가?
• RQ3 알려진 미래 정보와 계절성/이벤트 효과를 예측 프레임워크 내에서 어떻게 정렬할 수 있는가?
• RQ4 포킹-시퀀스 학습이 엔코더-디코더 시계열 모델의 안정성과 효율을 개선하는가?
• RQ5 단일 모델이 여러 관련 시계열에 걸쳐 학습하고 차가운 시작(cold-start) 예측을 수행할 수 있는가?

주요 결과

• MQ-RNN은 기준 안쪽의 여러 수평선과 분위수에서 확률적 예측 정확도를 개선한다.
• 포킹-시퀀스 학습은 다중 예측 생성 시점에서 파라미터를 공유하여 학습의 안정성과 비용을 감소시킨다.
• 수평선별 컨텍스트와 수평선에 무관한 글로벌 컨텍스트를 도입하면 계절성과 이벤트의 정렬이 개선되어 더 선명한 예측 구간을 얻을 수 있다.
• 대체 인코더(MQ-CNN의 WaveNet 스타일 확장 또는 래그 기반 입력 등)는 추가적인 성능 향상을 제공할 수 있다.
• MQ-RNN 변형은 다-수평선 분위수 손실과 알려진 미래 정보를 활용함으로써 Amazon 수요 예측 및 GE FCom2014 전력 가격/부하 예측 작업에서 최첨단 성능을 능가한다.
• 분위수 예측(P10, P50, P90 등)은 수평선에 걸쳐 유용한 보정성과 선명도를 제공한다.