[論文レビュー] Support for Stock Trend Prediction Using Transformers and Sentiment Analysis

Harsimrat Kaeley, Ye Qiao+1 more|arXiv (Cornell University)|May 18, 2023

Stock Market Forecasting MethodsDecision Sciences被引用数 3

ひとこと要約

本稿では、株価の長期的トレンド予測を向上させるために、テクニカル株価データとニュース見出しからのセンチメント分析を統合したTransformerベースのモデル、StockFormerを提案する。自己注意機構を活用して長期的な依存関係を捉え、リアルタイムのセンチメント信号を統合することで、30日予測ウィンドウにおいてRNNと比較して最大18.63%高い方向性正確性を達成し、長期的な時間枠における優れた性能を示している。

ABSTRACT

Stock trend analysis has been an influential time-series prediction topic due to its lucrative and inherently chaotic nature. Many models looking to accurately predict the trend of stocks have been based on Recurrent Neural Networks (RNNs). However, due to the limitations of RNNs, such as gradient vanish and long-term dependencies being lost as sequence length increases, in this paper we develop a Transformer based model that uses technical stock data and sentiment analysis to conduct accurate stock trend prediction over long time windows. This paper also introduces a novel dataset containing daily technical stock data and top news headline data spanning almost three years. Stock prediction based solely on technical data can suffer from lag caused by the inability of stock indicators to effectively factor in breaking market news. The use of sentiment analysis on top headlines can help account for unforeseen shifts in market conditions caused by news coverage. We measure the performance of our model against RNNs over sequence lengths spanning 5 business days to 30 business days to mimic different length trading strategies. This reveals an improvement in directional accuracy over RNNs as sequence length is increased, with the largest improvement being close to 18.63% at 30 business days.

研究の動機と目的

• RNNが長期的依存関係を捉えることの制限や、市場ニュースの遅延が株価トレンド予測に与える影響を是正すること。
• テクニカルインジケーターとニュース見出しからのリアルタイムセンチメントを統合したTransformerベースのモデルを開発し、予測正確性を向上させること。
• 異なるシーケンス長（5～30営業日）におけるモデルのパフォーマンスを評価し、さまざまなトレーディング戦略へのスケーラビリティを検証すること。
• 長期的金融予測研究のための、ほぼ3年間にわたる日次テクニカルデータと上位ニュース見出しを含む新規データセットを提供すること。
• 提案モデルのパフォーマンスをRNNおよび最近のTransformerベースのモデルと比較し、これまでにあまり検討されていなかった長期的な時間ウィンドウにおける性能を評価すること。

提案手法

• モデルは、株価データと見出しの両方の入力シーケンスにおける長距離時系列依存関係をモデル化するために、マルチヘッド自己注意機構を備えたTransformerエンコーダー・アーキテクチャを採用する。
• テクニカル株価特徴量（例：始値、高値、安値、終値、出来高）は正規化され、上位ニュース見出しからの埋め込みセンチメントスコアとともにモデルに入力される。
• 自然言語処理（NLP）技術を用いて、日次ニュース見出しに対してセンチメント分析を実行し、リアルタイムのセンチメント埋め込みを生成し、テクニカル特徴量と連結する。
• モデルは、n日分の遅延ウィンドウのデータに基づいて翌営業日（n+1）の正規化された始値を予測するように学習され、回帰タスクとして定式化される。
• 入力シーケンスにおける時系列順序を保持するために、正弦関数を用いた位置エンコーディングが適用され、モデルが時系列的ダイナミクスを学習できるようにする。
• パフォーマンスは方向性正確性、平均二乗誤差（MSE）、決定係数（R²）を用いて評価され、複数のウィンドウサイズにおいてLSTM、GRU、S_EMDAM_LSTMベースラインと比較される。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構により長期的依存関係をより効果的に捉えることができるため、TransformerベースのモデルはRNNを上回り、長期的株価トレンド予測において優れた性能を示せるか？
• RQ2 ニュース見出しからのセンチメント分析を統合することで、テクニカル分析のみに依存する場合と比較して、方向性正確性はどの程度向上するか？
• RQ3 シーケンス長（5～30営業日）が異なる場合、モデルのパフォーマンスはどのように変化するか？また、時間枠が長くなるに従い、TransformerとRNNのパフォーマンス格差は拡大するか？
• RQ4 リアルタイムのセンチメント信号の統合により、市場の変動に伴い遅れる傾向のあるテクニカルインジケーターの遅れを是正できるか？
• RQ5 特に短期間および長期のウィンドウにおいて、TEANetなどの最近のTransformerベースのモデルと比較して、提案されたStockFormerモデルの正確性はどの程度か？

主な発見

• StockFormerは30日予測ウィンドウで89.19%の方向性正確性を達成し、RNNベースのモデルと比較して最大18.63%の向上を示した。
• シーケンス長が延びるにつれて方向性正確性が向上し、RNNが維持できない長期的依存関係をTransformerの自己注意機構が効果的に捉えていることが示された。
• 特に30日ウィンドウにおいて、Bi-Directional LSTM、GRU-News、S_EMDAM_LSTMベースラインを上回る性能を示し、RNNベースのモデルを著しく上回った。
• 5日ウィンドウでは、StockFormerは60.36%の方向性正確性を達成したが、TEANetの65.16%にはわずかに及ばず、RNNを含むモデルが短期予測において優位性を示す可能性がある。
• ニュース見出しからのセンチメント分析の統合により、モデルの市場ショックへの対応性が向上し、遅れが生じやすいテクニカルインジケーターとリアルタイムの市場動向の乖離が軽減された。
• 30日ウィンドウにおいて、R²が0.9219、MSEが0.1071と、正規化された価格トレンド予測において強い回帰性能を示し、複数の指標にわたるモデルの頑健性が確認された。