[논문 리뷰] Forecasting Across Time Series Databases using Recurrent Neural Networks on Groups of Similar Series: A Clustering Approach

Kasun Bandara, Christoph Bergmeir외 1명|arXiv (Cornell University)|2017. 10. 09.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 대규모 시계열 데이터베이스에서 예측 정확도를 향상시키기 위해 유사한 시계열 그룹에 대해 장기적 단기 기억(LSTM) 네트워크를 훈련하는 군집 기반 프레임워크를 제안한다. 유사한 시계열을 군집화하고 각 하위군에 대해 LSTM을 훈련시음으로써, 이 방법은 전역 LSTM 모델과 전통적인 단변량 방법을 모두 능가하며, CIF2016 경쟁 데이터셋에서 최신 기술 수준의 성능을 달성하고 NN5에서 기본 LSTM 모델보다 일관되게 향상된다.

ABSTRACT

With the advent of Big Data, nowadays in many applications databases containing large quantities of similar time series are available. Forecasting time series in these domains with traditional univariate forecasting procedures leaves great potentials for producing accurate forecasts untapped. Recurrent neural networks (RNNs), and in particular Long Short-Term Memory (LSTM) networks, have proven recently that they are able to outperform state-of-the-art univariate time series forecasting methods in this context when trained across all available time series. However, if the time series database is heterogeneous, accuracy may degenerate, so that on the way towards fully automatic forecasting methods in this space, a notion of similarity between the time series needs to be built into the methods. To this end, we present a prediction model that can be used with different types of RNN models on subgroups of similar time series, which are identified by time series clustering techniques. We assess our proposed methodology using LSTM networks, a widely popular RNN variant. Our method achieves competitive results on benchmarking datasets under competition evaluation procedures. In particular, in terms of mean sMAPE accuracy, it consistently outperforms the baseline LSTM model and outperforms all other methods on the CIF2016 forecasting competition dataset.

연구 동기 및 목표

• 이질적인 시계열 데이터베이스에 전역 LSTM 모델을 적용할 때 예측 정확도 저하 문제를 해결하기 위해.
• 유사한 시계열을 군집화하여 교차 시계열 유사성을 활용함으로써, 더 정확한 하위군별 예측을 가능하게 하기 위해.
• 확장 가능하고 자동화된 프레임워크를 개발하여 군집화를 순환 신경망과 통합함으로써 빅데이터 시계열 응용 분야의 예측 성능을 향상시키기 위해.
• 표준화된 경쟁 평가 프로토콜에 따라 벤치마크 데이터셋에서 성능 향상을 검증하기 위해.

제안 방법

• 형태, 추세, 계절성 기반으로 유사한 시계열을 식별하기 위해 비지도 군집 기법을 사용하여 시계열을 군집화한다.
• 각 군집에 대해 별도의 LSTM 모델을 훈련시어 유사한 시계열에 특화된 패턴을 학습하면서도 그룹 내 공유 정보를 활용할 수 있도록 한다.
• 이 방법은 두 단계 훈련 프로세스를 사용한다: 먼저 시계열을 군집화하고, 그 다음 각 군집의 데이터에 대해 개별 LSTM을 훈련시킨다.
• 평가 프로토콜에 관계없이 안정성을 확보하기 위해 고정 원점 및 윈도우 이동 원점 예측 설정을 모두 사용하여 평가한다.
• LSTM 변종을 사용하여 테스트한다. 이는 전역 LSTM(LSTM.All)과 군집 기반 LSTM(LSTM.Cluster)을 비교하기 위함이다.

실험 결과

연구 질문

• RQ1 대규모 데이터베이스에서 순환 신경망을 사용할 때 유사한 시계열을 군집화하면 예측 정확도 향상이 가능한가?
• RQ2 전체 시계열을 통합해 훈련한 전역 LSTM 모델과 비교해 군집 기반 LSTM 모델의 성능은 어떠한가?
• RQ3 다양한 시계열을 포함한 벤치마크 데이터셋에서 제안된 방법이 최신 기술 수준의 단변량 예측 방법을 능가하는가?
• RQ4 하위군 모델링으로 인한 성능 향상은 기준 모델에 비해 통계적으로 유의미한가?

주요 결과

• CIF2016 예측 경쟁 데이터셋에서 LSTM.Cluster 모델은 평균 sMAPE 기준으로 모든 다른 방법보다 뛰어나 최고 순위를 기록했다.
• NN5 데이터셋에서 LSTM.Cluster 모델은 평균 sMAPE 기준으로 전체 순위 6위를 기록했으며, 모든 오차 지표에서 전역 LSTM_All 기준 모델을 일관되게 능가했다.
• 쌍체 Wilcoxon 순위합 검정 결과, LSTM.Cluster와 LSTM_All 간의 차이는 매우 유의미했다(p = 7.22 × 10⁻⁴), 군집화의 유용성을 확인했다.
• 정렬된 프리드먼 검정을 사용한 통계적 검정 결과 p-값은 6.59 × 10⁻¹¹로 나타나 결과의 전반적인 유의미성이 높게 확인되었다.
• LSTM.Cluster 모델은 지수 평활화 기반 벤치마크(ETS 및 ES)와 유의미하게 떨어지지 않았지만, 전역 LSTM_All 모델은 제어 방법보다 유의미하게 열등했다.
• 고정 원점 및 윈도우 이동 원점 평가 모두에서 중앙값 sMAPE, 평균 MASE, 순위 기반 지표에서 일관된 향상이 관찰되었다.