[論文レビュー] Financial series prediction using Attention LSTM

Sang-Yeon Kim, Myungjoo Kang|arXiv (Cornell University)|Feb 28, 2019

Stock Market Forecasting Methods参考文献 22被引用数 16

ひとこと要約

本論文では、複数の金融時系列データを用いてKOSPI 200指数のトレンドを予測するためのアテンション強化LSTMモデルを提案する。重み付きアテンション機構をLSTMネットワークと統合することで、予測精度が向上し、0.763のヒットレートを達成した。同時に、注目重みの可視化により、重要な要因や時間帯を特定する解釈可能な可視化が可能となった。

ABSTRACT

Financial time series prediction, especially with machine learning techniques, is an extensive field of study. In recent times, deep learning methods (especially time series analysis) have performed outstandingly for various industrial problems, with better prediction than machine learning methods. Moreover, many researchers have used deep learning methods to predict financial time series with various models in recent years. In this paper, we will compare various deep learning models, such as multilayer perceptron (MLP), one-dimensional convolutional neural networks (1D CNN), stacked long short-term memory (stacked LSTM), attention networks, and weighted attention networks for financial time series prediction. In particular, attention LSTM is not only used for prediction, but also for visualizing intermediate outputs to analyze the reason of prediction; therefore, we will show an example for understanding the model prediction intuitively with attention vectors. In addition, we focus on time and factors, which lead to an easy understanding of why certain trends are predicted when accessing a given time series table. We also modify the loss functions of the attention models with weighted categorical cross entropy; our proposed model produces a 0.76 hit ratio, which is superior to those of other methods for predicting the trends of the KOSPI 200.

研究の動機と目的

• 深層学習モデルを用いてKOSPI 200指数の金融時系列予測精度を向上させること。
• MLP、1D CNN、LSTM、およびアテンションネットワークを含む複数の深層学習アーキテクチャの性能を評価・比較すること。
• 入力要因および時系列の両方の次元におけるアテンションベクトルの可視化を通じて、モデルの解釈性を向上させること。
• 不均衡なトレンド予測タスクにおける性能向上を目的として、重み付きカテゴリカル交差エントロピー損失関数を最適化すること。
• アテンション重み解析を通じて、モデルの予測に最も影響を与える時間帯および金融要因を同定すること。

提案手法

• 2007年から2016年までの10年間のKOSPI 200および関連する金融指標（為替、グローバルインデックス、商品など）の時系列データを用いて、スタックドLSTMモデルを学習した。
• 異なる時系列ステップおよび入力特徴量の重要性を動的に重みづけするため、LSTMアーキテクチャにアテンション機構を統合した。
• 高リスクな価格変動に対する正しく予測されたケースを優先するため、重み付きカテゴリカル交差エントロピー損失関数を実装し、モデルの頑健性を向上させた。
• 時間的（時間）および特徴量的（要因）次元の両方におけるアテンションベクトルを可視化し、モデルの意思決定を解釈し、重要な入力を特定した。
• 入力シーケンスには60日間のリーフォークウインドウを用い、将来のさまざまな予測期間（例：40日後予測）で評価した。
• 各モデルに対して5回の独立した学習を実施し、結果の安定性を確保し、ヒットレートや獲得ポイントなどの平均パフォーマンス指標を報告した。

実験結果

リサーチクエスチョン

• RQ1 MLP、1D CNN、LSTM、およびアテンションネットワークといった異なる深層学習モデルは、KOSPI 200トレンド方向の予測においてどのように比較されるか？
• RQ2 標準アテンションと比較して、重み付きアテンション機構を用いることで、予測精度およびモデルの安定性にどのような影響を与えるか？
• RQ3 モデル内で最も高いアテンション重みを示す金融要因および時間帯は何か？また、それらは予測結果とどのように相関しているか？
• RQ4 リーフォークウインドウの長さが、異なるモデルにおける予測パフォーマンスにどのように影響するか？
• RQ5 アテンション可視化は、金融トレンド予測におけるモデル意思決定プロセスに対して、直感的で解釈可能なインサイトをどの程度提供できるか？

主な発見

• 重み付きアテンションLSTMモデルは、テストセットで最高のヒットレート0.763を達成し、標準アテンションネットワーク（0.715）やベースラインモデルを顕著に上回った。
• 上昇トレンド予測では70.9%の精度を達成し、下落トレンド予測では72.3%の精度を記録した。両方向で優れた性能を示しており、バランスの取れた予測能力が裏付けられた。
• シミュレーテッドトレーディングでは1,257.462ポイントを獲得し、標準アテンションネットワークの1,090.718ポイントよりも15%高い収益性を示した。リスク調整後のシミュレーションにおいても優れた利益性を示した。
• アテンション可視化により、S&P 500グローバルインデックスと米ドルインデックスが最も重みの高い要因であることが判明した。一方、入力ウインドウの最終日および複数の中間日が時間的アテンション重みで最も高かった。
• 長いリーフォークウインドウ（60日）は、すべてのモデルでヒットレートを一貫して向上させた。特に40日後予測のシナリオで最適なパフォーマンスが観察された。
• モデルのアテンション機構は、特に市場の高いボラティリティが観察される時期において、重要な入力を的確に特定し、なぜ特定のトレンド予測がなされたかを直感的に解釈可能にした。