[논문 리뷰] Time Series Forecasting Based on Augmented Long Short-Term Memory

Daniel Hsu|arXiv (Cornell University)|2017. 07. 03.

Time Series Analysis and Forecasting참고 문헌 16인용 수 34

한 줄 요약

이 논문은 베이지안 신경망과 호르셰 편의를 사용한 계층적 잠재변수 프레임워크를 통해 다중 기간 시계열 예측의 정확도를 향상시키기 위해 보완된 장기 단기 기억망(LSTM) 모델을 제안한다. 시간의 여러 해상도에서 시간적 의존성을 모델링하고 부적절한 입력을 자동으로 제거함으로써, 합성 및 실세계 데이터셋 모두에서 뛰어난 예측 정확도를 달성한다.

ABSTRACT

In this paper, we use augmented the hierarchical latent variable model to model multi-period time series, where the dynamics of time series are governed by factors or trends in multiple periods. Previous methods based on stacked recurrent neural network (RNN) and deep belief network (DBN) models cannot model the tendencies in multiple periods, and no models for sequential data pay special attention to redundant input variables which have no or even negative impact on prediction and modeling. Applying hierarchical latent variable model with multiple transition periods, our proposed algorithm can capture dependencies in different temporal resolutions. Introducing Bayesian neural network with Horseshoe prior as input network, we can discard the redundant input variables in the optimization process, concurrently with the learning of other parts of the model. Based on experiments with both synthetic and real-world data, we show that the proposed method significantly improves the modeling and prediction performance on multi-period time series.

연구 동기 및 목표

• 기존의 RNN 및 DBN 모델이 다중 기간 시간적 추세를 포착하는 데에 한계가 있음을 해결하기 위해.
• 다양한 전이 기간을 통해 다중 해상도에서 시간적 시계열 역학을 계층적 잠재변수로 모델링하기 위해.
• 호르셰 편의를 통한 베이지안 정규화를 통해 부적절하거나 관련 없는 입력 변수에서 오는 노이즈를 줄이기 위해.
• 모델 파라미터를 동시에 학습하고 정보가 없는 입력을 식별함으로써 예측 성능을 향상시키기 위해.

제안 방법

• 모델은 시간의 여러 시간 해상도에서 시간적 시계열 역학을 표현하기 위해 계층적 잠재변수 구조를 활용한다.
• 최적화 과정에서 자동으로 입력 변수 선택을 수행하기 위해 호르셰 편의를 적용한 베이지안 신경망을 통합한다.
• 호르셰 편의를 통해 관련 없는 입력 가중치가 0에 수렴하게 하여 부적절한 특징을 효과적으로 제거한다.
• 시계열 데이터에서 장기적 의존성을 포착하기 위해 스택형 LSTM 레이어를 사용한다.
• 변분 추론을 통해 근사 사후분포를 추정하고, 확률적 경사 하강법을 사용해 엔드 투 엔드로 모델을 훈련한다.
• 잠재공간 내의 구조화된 전이 행렬을 통해 다양한 기간 간의 시간적 의존성을 명시적으로 모델링한다.

실험 결과

연구 질문

• RQ1 계층적 잠재변수 모델은 시계열 데이터의 다중 기간 시간적 의존성을 효과적으로 포착할 수 있는가?
• RQ2 호르셰 편의를 통합함으로써 관련 없는 입력 변수를 제거함으로써 모델의 강건성이 어떻게 향상되는가?
• RQ3 제안된 방법은 표준 RNN 및 DBN 모델보다 다중 기간 예측 과제에서 더 나은 성능을 보일 수 있는가?
• RQ4 베이지안 정규화는 실세계 시계열 데이터에서 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 기준선 RNN 및 DBN 모델에 비해 합성 및 실세계 시계열 데이터셋 모두에서 예측 정확도를 크게 향상시킨다.
• 호르셰 편의가 훈련 과정에서 관련 없는 입력 변수를 성공적으로 식별하고 억제하여 모델의 해석 가능성을 향상시킨다.
• 계층적 잠재구조는 표준 RNN보다 다중 시간 해상도에 걸친 장기적 의존성을 더 효과적으로 포착한다.
• 입력 데이터에 노이즈 또는 관련 없는 특징이 포함되어 있어도 모델은 강건한 성능을 보인다.
• 실험 결과, 다양한 시계열 벤치마크에서 RMSE 및 MAE와 같은 예측 지표에 일관된 향상이 관찰된다.