[논문 리뷰] Optimizing Time Series Forecasting: A Comparative Study of Adam and Nesterov Accelerated Gradient on LSTM and GRU networks Using Stock Market data

Ayodeji Samuel Makinde|arXiv (Cornell University)|2024. 09. 28.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

본 논문은 Apple 주가 데이터를 이용한 주가 예측에서 LSTM 및 GRU 모델에 대해 Adam과 Nesterov Accelerated Gradient(NAG) 최적화를 비교한다; Adam을 사용하는 GRU가 최저 RMSE와 빠른 수렴을 보인다.

ABSTRACT

Several studies have discussed the impact different optimization techniques in the context of time series forecasting across different Neural network architectures. This paper examines the effectiveness of Adam and Nesterov's Accelerated Gradient (NAG) optimization techniques on LSTM and GRU neural networks for time series prediction, specifically stock market time-series. Our study was done by training LSTM and GRU models with two different optimization techniques - Adam and Nesterov Accelerated Gradient (NAG), comparing and evaluating their performance on Apple Inc's closing price data over the last decade. The GRU model optimized with Adam produced the lowest RMSE, outperforming the other model-optimizer combinations in both accuracy and convergence speed. The GRU models with both optimizers outperformed the LSTM models, whilst the Adam optimizer outperformed the NAG optimizer for both model architectures. The results suggest that GRU models optimized with Adam are well-suited for practitioners in time-series prediction, more specifically stock price time series prediction producing accurate and computationally efficient models. The code for the experiments in this project can be found at https://github.com/AhmadMak/Time-Series-Optimization-Research Keywords: Time-series Forecasting, Neural Network, LSTM, GRU, Adam Optimizer, Nesterov Accelerated Gradient (NAG) Optimizer

연구 동기 및 목표

• Adam과 Nesterov Accelerated Gradient 최적화기가 주가 시계열 예측을 위한 LSTM 및 GRU 아키텍처에서 어떻게 작동하는지 평가한다.
• 어떤 모델-최적화기 조합이 예측 정확도와 수렴 특성 면에서 가장 좋은지를 결정한다.
• 재무 데이터의 시계열 예측을 위한 최적화기 선택에 대한 실용적 지침을 제공한다.

제안 방법

• Keras(TensorFlow)를 사용하여 Google Colab에서 Apple Inc. 종가 데이터를 대상으로 두 최적화기(Adam 및 NAG)로 LSTM과 GRU 모델을 학습한다.
• 정규화(Min-Max 스케일링), 누락값 보정, 학습/검증/테스트 분할을 통해 데이터를 전처리한다.
• 훈련/검증 손실, 수렴 특성, 테스트 데이터의 RMSE를 평가한다.
• 최초 비교를 위한 시나리오로 배치 크기 1, 학습률 0.001, 각 실행당 1 에포크를 사용한다.

실험 결과

연구 질문

• RQ1 각 최적화기에 대해 어떤 모델(LSTM vs. GRU)이 주가 예측에서 더 낮은 RMSE를 보이는가?
• RQ2 Adam이 수렴 속도와 안정성 측면에서 architecture 전반에 걸쳐 NAG를 지속적으로 능가하는가?
• RQ3 다른 모델-최적화기 조합에서 학습/검증 손실은 에포크에 따라 어떻게 변화하는가?
• RQ4 Adam 또는 NAG과 결합했을 때 GRU 모델이 일반적으로 LSTM보다 이 주식 시장 데이터셋에서 더 효과적인가?

주요 결과

• GRU와 Adam이 가장 낮은 RMSE를 달성한다(172.4037).
• 본 연구에서 GRU 모델은 일반적으로 LSTM 모델보다 우수한 성능을 보인다.
• Adam 최적화기는 LSTM과 GRU 모두에서 RMSE 및 최종 손실 면에서 NAG를 능가한다.
• Adam과 함께하는 LSTM은 학습 손실을 더 빨리 줄이지만 불안정성을 보일 수 있으며; NAG와 함께하는 GRU는 안정적인 수렴을 보이나 Adam 변형에 비해 RMSE가 더 높다.
• 전반적으로 GRU-Adam이 이 데이터셋에서 주가 예측의 strongest predictor다.