[논문 리뷰] Time Series Forecasting Using LSTM Networks: A Symbolic Approach

Steven Elsworth, Stefan Güttel|arXiv (Cornell University)|2020. 03. 12.

Time Series Analysis and Forecasting참고 문헌 37인용 수 91

한 줄 요약

논문은 ABBA 기호 표현과 LSTM을 결합한 ABBA-LSTM을 제안하여 학습 속도를 높이고 하이퍼파라미터 민감도를 줄이면서 예측 성능을 유지합니다.

ABSTRACT

Machine learning methods trained on raw numerical time series data exhibit fundamental limitations such as a high sensitivity to the hyper parameters and even to the initialization of random weights. A combination of a recurrent neural network with a dimension-reducing symbolic representation is proposed and applied for the purpose of time series forecasting. It is shown that the symbolic representation can help to alleviate some of the aforementioned problems and, in addition, might allow for faster training without sacrificing the forecast performance.

연구 동기 및 목표

• 원시 시계열 데이터에서 LSTM의 한계 및 하이퍼파라미터와 초기화에 대한 민감성에 대한 동기 부여 및 해결.
• 패치 절차를 이용한 ABBA 기호 표현 도입으로 시계열을 압축하고 재구성.
• ABBA-LSTM이 더 빠른 학습으로 비교 가능한 예측을 달성할 수 있음을 시연.
• 재현 가능한 Python 코드와 원시 LSTM과의 비교 분석 제공.

제안 방법

• ABBA 기호 표현 설명: 시계열을 piecewise linear 구간으로 압축하고, k개의 기호로 디지타이즈하고, patch 기반으로 재구성.
• ABBA를 LSTM과 통합하여 기호 시퀀스에서 학습하고 최종 소프트맥스 계층으로 기호 예측(ABBA-LSTM).
• 시계열 예측을 위한 LSTM의 상태 유지(stateful) 대비 비상태(stateless) 두 가지 학습 체계를 비교.
• 두 층의 LSTM 아키텍처를 사용하고 초기 층을 c 셀로 두고, 원시 모델과 기호 모델에 맞춘 출력 계층.
• 원시 LSTM은 평균 제곱 오차, ABBA-LSTM은 범주형 교차 엔트로피를 사용하고 Adam 옵티마이저와 조기 종료를 적용.

실험 결과

연구 질문

• RQ1 ABBA 기호 표현이 원시 LSTM에 비해 학습 시간을 줄이면서 예측 정확도를 유지할 수 있는가?
• RQ2 ABBA-LSTM이 하이퍼파라미터 및 초기화에 대한 민감도를 줄이는가?
• RQ3 Stateful 대 Stateless 학습이 ABBA-LSTM과 원시 LSTM의 성능에 어떤 영향을 주는가?
• RQ4 ABBA 패칭을 사용한 경우와 직접 숫자 재구성의 경우 예측에서 어떤 행동 차이가 나타나는가?

주요 결과

• ABBA-LSTM은 더 쉽게 학습되며 원시 LSTM과 유사한 예측 성능을 달성할 수 있다.
• 기호 ABBA 표현은 하이퍼파라미터 및 초기 가중치에 대한 민감도를 줄여준다.
• ABBA 패칭은 관찰된 패치 형태로 출력을 제약하여 시각적으로 더 매력적인 예측을 제공한다.
• 실험은 Stateless 학습이 일반적으로 Stateful 학습보다 더 큰 DTW 거리를 유발하는 경향이 있으며 원시 LSTM은 일반적으로 덜 강건하다.