[論文レビュー] Optimizing Time Series Forecasting: A Comparative Study of Adam and Nesterov Accelerated Gradient on LSTM and GRU networks Using Stock Market data

Ayodeji Samuel Makinde|arXiv (Cornell University)|Sep 28, 2024

Stock Market Forecasting Methods被引用数 5

ひとこと要約

本論文は、Apple株データを用いた株価予測において、LSTMおよびGRUモデルでAdamとNesterov Accelerated Gradient (NAG) オプティマイザを比較する。GRUのAdam組み合わせが最も良いRMSEと収束性を示す。

ABSTRACT

Several studies have discussed the impact different optimization techniques in the context of time series forecasting across different Neural network architectures. This paper examines the effectiveness of Adam and Nesterov's Accelerated Gradient (NAG) optimization techniques on LSTM and GRU neural networks for time series prediction, specifically stock market time-series. Our study was done by training LSTM and GRU models with two different optimization techniques - Adam and Nesterov Accelerated Gradient (NAG), comparing and evaluating their performance on Apple Inc's closing price data over the last decade. The GRU model optimized with Adam produced the lowest RMSE, outperforming the other model-optimizer combinations in both accuracy and convergence speed. The GRU models with both optimizers outperformed the LSTM models, whilst the Adam optimizer outperformed the NAG optimizer for both model architectures. The results suggest that GRU models optimized with Adam are well-suited for practitioners in time-series prediction, more specifically stock price time series prediction producing accurate and computationally efficient models. The code for the experiments in this project can be found at https://github.com/AhmadMak/Time-Series-Optimization-Research Keywords: Time-series Forecasting, Neural Network, LSTM, GRU, Adam Optimizer, Nesterov Accelerated Gradient (NAG) Optimizer

研究の動機と目的

• AdamとNesterov Accelerated Gradientオプティマイザが、LSTMおよびGRUアーキテクチャの株価時系列予測でどのように機能するかを評価する。
• モデル-オプティマイザの組み合わせの中で、最良の予測精度と収束特性を提供するものを特定する。
• 金融データの時系列予測におけるオプティマイザ選択について実務的な指針を提供する。

提案手法

• Apple Inc.の終値データを用いて、2つのオプティマイザ（AdamとNAG）でLSTMとGRUモデルを訓練する（2014年〜2024年）。
• 正規化（Min-Maxスケーリング）、欠損値補完、訓練/検証/テスト分割を用いてデータを前処理する。
• 訓練損失・検証損失・テストデータのRMSE、および収束挙動を評価する。
• 初期比較のため、Google Colab上のKeras（TensorFlow）を用い、バッチサイズ1、学習率0.001、1エポックずつの実行で実施する。

実験結果

リサーチクエスチョン

• RQ1 各オプティマイザで、どのモデル（LSTM対GRU）が株価予測のRMSEを低くするか？
• RQ2 アダムは収束速度と安定性の観点でNAGを一貫して上回るか？
• RQ3 異なるモデル-オプティマイザの組み合わせで、訓練/検証損失はエポックとともにどう変化するか？
• RQ4 AdamまたはNAGを組み合わせた場合、GRUモデルはこの株式市場データセットで一般にLSTMモデルより効果的か？

主な発見

• GRU with Adam achieves the lowest RMSE (172.4037).
• GRUモデルは本研究において一般的にLSTMモデルより良く機能する。
• Adamオプティマイザは、LSTMとGRUの両方においてRMSEと最終損失の点でNAGを上回る。
• LSTM with Adamは訓練損失をより速く低下させるが不安定さを示すことがある。GRU with NAGは安定した収束を示すが、Adam系の変種よりRMSEが高い。
• 全体として、本データセットにおける株価予測の最強の予測子はGRU-Adamである。