[論文レビュー] Leveraging Financial News for Stock Trend Prediction with Attention-Based Recurrent Neural Network

Huicheng Liu|arXiv (Cornell University)|Nov 14, 2018

Stock Market Forecasting Methods被引用数 12

ひとこと要約

本稿では、S&P 500指数および個別株式の株価動向を予測するために、金融ニュースの見出しを活用する注目メカニズムを備えたLSTMモデル（At-LSTM）を提案する。文脈的特徴を捉えるために双方向LSTMを用い、重要語、ニュース、時系列ポイントに注目するための自己注意機構を組み合わせることで、S&P 500予測で最大65.53%の精度を達成し、ウォルマートのような個別株式では最大72.06%に達する。従来モデルを上回る性能を示し、計算ファイナンス分野における高度なNLPの価値を裏付けている。

ABSTRACT

Stock market prediction is one of the most attractive research topic since the successful prediction on the market's future movement leads to significant profit. Traditional short term stock market predictions are usually based on the analysis of historical market data, such as stock prices, moving averages or daily returns. However, financial news also contains useful information on public companies and the market. Existing methods in finance literature exploit sentiment signal features, which are limited by not considering factors such as events and the news context. We address this issue by leveraging deep neural models to extract rich semantic features from news text. In particular, a Bidirectional-LSTM are used to encode the news text and capture the context information, self attention mechanism are applied to distribute attention on most relative words, news and days. In terms of predicting directional changes in both Standard & Poor's 500 index and individual companies stock price, we show that this technique is competitive with other state of the art approaches, demonstrating the effectiveness of recent NLP technology advances for computational finance.

研究の動機と目的

• 単なるセンチメント分析を超えて、金融ニュースから豊富な意味的特徴を統合することで、株価トレンド予測を改善すること。
• 従来の手法がニューステキスト内の文脈的および出来事レベルの情報を十分に捉えられていないという限界を是正すること。
• 注目メカニズムを備えた深層ニューラルネットワークが、ファイナンシャルタイムシリーズ予測のパフォーマンスを向上させられるかを検証すること。
• ニュースの見出しと全文の両方を用いた場合、株価予測モデルにおいてどちらが優れているかを比較すること。
• 広範な市場インデックスと個別株式の両方でモデルのパフォーマンスを評価し、予測精度に影響を与える要因を同定すること。

提案手法

• 双方向LSTMを用いて金融ニュースの見出しを符号化し、テキスト内の順序的および文脈的依存関係を捉える。
• 語、ニュース、日付の3レベルで自己注意機構を適用し、入力シーケンス内の異なる要素の重要性を動的に重み付けする。
• ロイターおよびブルームバーグのニュース見出しを処理し、ノイズを低減し関連性を高めるために、見出しのみに焦点を当てる。
• 語彙外語や希少語の表現を強化するために、文字レベルの構成を単語埋め込み（WEB-At-LSTM）で統合する。
• モデルは、符号化された表現の上に分類ヘッドを設け、株価の上昇／下降の方向変化を予測するように学習する。
• アブレーションスタディにより、テクニカルインジケーターを含む・含まないモデルを比較し、ノイズの増加により性能が低下することが判明した。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムを備えた再帰的ネットワークは、株価トレンド予測のための関連する意味的および文脈的特徴を、金融ニュースの見出しから効果的に抽出できるか？
• RQ2 語、ニュース、日付の3レベルで自己注意機構を組み込むことで、標準的なRNNやBag-of-Wordsモデルと比較して、予測精度がどのように向上するか？
• RQ3 全文ではなく見出しのみを用いることで、株価予測タスクにおいてより良いパフォーマンスが得られるか？
• RQ4 KGEB-CNNのような、知識グラフイベント埋め込みを用いる最先端のモデルと比較して、提案されたAt-LSTMモデルはどのように差をつけるか？
• RQ5 モデルの入力にテクニカルインジケーターを追加することで、予測精度にどのような影響を与えるか？

主な発見

• At-LSTMモデルは、S&P 500指数のトレンド予測において最大65.53%、平均63.06%の精度を達成し、SVMなどのベースラインモデルを上回った。
• 個別株式では、平均68.5%、ウォルマート（WMT）では最大72.06%の精度を達成し、企業固有のニュースにおいて高い性能を示した。
• Bag-At-LSTMやCNN-LSTMよりも優れた性能を示し、ニュースおよび日付レベルでの自己注意機構が特徴選択と時系列モデリングを改善していることを裏付けた。
• 全文（Ab-At-LSTMおよびDoc-At-LSTM）を含めると性能が低下したため、見出しがより関連性が高く集中した情報を含んでいることが確認された。
• テクニカルインジケーターの追加は性能を向上させず、むしろ精度を低下させた。これは、入力表現にノイズが加わったことが原因と考えられる。
• 外部知識を用いないにもかかわらず、知識グラフイベント埋め込みを用いる最先端手法KGEB-CNNと同等の性能を示し、競争力のある結果を達成した。