[論文レビュー] Investigation Into The Effectiveness Of Long Short Term Memory Networks For Stock Price Prediction

Hengjian Jia|arXiv (Cornell University)|Mar 25, 2016

Stock Market Forecasting Methods参考文献 4被引用数 63

ひとこと要約

本研究では、2005年から2015年までのGoogleの歴史的株価データを用いて、LSTMネットワークを用いた株価予測の有効性を評価する。スライディングウィンドウとADAM最適化を用いた段階的事前学習戦略を採用した結果、3層250ユニットのLSTMではテストRMSEが0.0105にまで低下し、変化なしベースライン（RMSE 0.0265）を上回る性能を示した。

ABSTRACT

The effectiveness of long short term memory networks trained by backpropagation through time for stock price prediction is explored in this paper. A range of different architecture LSTM networks are constructed trained and tested.

研究の動機と目的

• 時系列データを用いたLSTMネットワークの株価動向予測への有効性を評価すること。
• 単純なモデルと比較して、より深く広いLSTMアーキテクチャが予測精度を向上させるかを調査すること。
• スライディングウィンドウを用いた新規の段階的事前学習戦略が、モデルの収束性と性能に与える影響を評価すること。
• 予測の有効性を検証するため、LSTMの性能を単純な変化なしベースラインモデルと比較すること。
• 訓練サンプル数に比べてパラメータ数が多いにもかかわらず、LSTMの過学習への耐性を検討すること。

提案手法

• 正規化された日次リターン（始値、高値、安値、終値、出来高）を入力として、1～3層の隠れ層と異なるユニット数（50～500）を持つLSTMネットワークを学習する。
• スライディングウィンドウ法により入力系列を生成し、段階的事前学習のため、長さ2から始まり256まで倍増させる。
• ゲート関数にハードシグモイド関数、活性化関数にtanh関数を採用。重み初期化にはSVDを用い、隠れ状態のダイナミクスを安定化させる。
• 忘却ゲートのバイアスを1、他のバイアスを0に初期化することで、長期依存関係の学習を促進する。
• データは日次リターンに正規化する：$ \hat{x}_t = \frac{x_t}{x_{t-1}} - 1 $、スケールの低下と学習安定性の向上を図る。
• ADAM最適化手法を採用し、デフォルトのハイパーパrameterを設定し、バッチサイズを20のシーケンス固定とする。

実験結果

リサーチクエスチョン

• RQ1 LSTMは株価時系列データの時間的パターンを効果的に学習し、正確な予測が可能か？
• RQ2 LSTMベースの株価予測において、ネットワークの深さと幅は性能にどのように影響するか？
• RQ3 長さを段階的に増加させるスライディングウィンドウを用いた段階的事前学習は、収束性と最終的な精度を向上させるか？
• RQ4 RMSEの観点から、LSTMモデルの性能は単純な変化なしベースラインと比べてどうか？
• RQ5 訓練シーケンス数に比べてパラメータ数が多いにもかかわらず、モデルは過学習に対して耐性を示すか？

主な発見

• 3層250ユニットのLSTMが、テストRMSE 0.0105を達成し、優れた予測性能を示した。
• 変化なしベースライン（RMSE 0.0265）を常に上回ったことから、学習された予測能力が確認された。
• ネットワークの深さと幅を増やすことで性能が向上し、特に3層250ユニットの構成が最良の結果をもたらした。
• 長さ2から256まで段階的に増加するスライディングウィンドウを用いた段階的事前学習戦略により、学習の安定性と収束性が向上した。
• 訓練サンプル数に比べてパラメータ数が多いにもかかわらず、さまざまなアーキテクチャにおいて一貫した性能を示し、過学習への耐性が確認された。
• 最も優れたモデル（3層250ユニット）は、ベースライン比でRMSEを58.5％も低減させ、顕著な予測優位性を示した。