[論文レビュー] Stock price prediction using BERT and GAN

Priyank Sonkiya, Vikas Bajpai+1 more|arXiv (Cornell University)|Jul 18, 2021

Stock Market Forecasting Methods参考文献 34被引用数 5

ひとこと要約

本稿では、Apple Inc. 株価予測のため、金融ニュースのセンチメント分析に finBERT を使用し、生成対抗ネットワーク（GAN）を用いたアンサンブルモデル S-GAN を提案する。生成器に GRU を、識別器に 1D-CNN を使用する GAN アーキテクチャを採用し、センチメントスコアを潜在ノイズとして用いることで、汎用 GAN よりも 35% 低い RMSE を達成し、5日、15日、30日予測期間において LSTM や GRU、ARIMA を上回る性能を示した。

ABSTRACT

The stock market has been a popular topic of interest in the recent past. The growth in the inflation rate has compelled people to invest in the stock and commodity markets and other areas rather than saving. Further, the ability of Deep Learning models to make predictions on the time series data has been proven time and again. Technical analysis on the stock market with the help of technical indicators has been the most common practice among traders and investors. One more aspect is the sentiment analysis - the emotion of the investors that shows the willingness to invest. A variety of techniques have been used by people around the globe involving basic Machine Learning and Neural Networks. Ranging from the basic linear regression to the advanced neural networks people have experimented with all possible techniques to predict the stock market. It's evident from recent events how news and headlines affect the stock markets and cryptocurrencies. This paper proposes an ensemble of state-of-the-art methods for predicting stock prices. Firstly sentiment analysis of the news and the headlines for the company Apple Inc, listed on the NASDAQ is performed using a version of BERT, which is a pre-trained transformer model by Google for Natural Language Processing (NLP). Afterward, a Generative Adversarial Network (GAN) predicts the stock price for Apple Inc using the technical indicators, stock indexes of various countries, some commodities, and historical prices along with the sentiment scores. Comparison is done with baseline models like - Long Short Term Memory (LSTM), Gated Recurrent Units (GRU), vanilla GAN, and Auto-Regressive Integrated Moving Average (ARIMA) model.

研究の動機と目的

• 金融ニュースからのセンチメント分析を深層学習モデルと統合することで、株価予測の精度を向上させること。
• ARIMA や RNN といった伝統的な時系列モデルが複雑な市場ダイナミクスを捉えきれていないという限界を是正すること。
• 生成対抗ネットワーク（GAN）ベースの株価予測において、センチメントを潜在ベクトルとして用いることで、収束性と精度が向上するかを検証すること。
• 実用的で短期予測に適したモデルを構築し、 intraday トレーディング意思決定に応用可能であることを目指すこと。
• 多期間予測において、センチメントを組み込んだ GAN が従来のモデルを上回ることを実証すること。

提案手法

• Apple Inc. に関連するニュースの見出しや記事からセンチメントスコアを抽出するために、微調整済み BERT（finBERT）を用いる。
• 技術的インジケータ（例：7-DMA、21-DMA、RSI、MACD、ボリンジャーバンド、EMA、対数モーメント）およびグローバル市場指数を入力特徴量として使用する。
• 生成器に GRU を、識別器に 1D-CNN を使用する GAN アーキテクチャを採用し、将来の株価を生成する。
• 生成器は、ランダムなガウスノイズの代わりにセンチメントスコアを潜在ノイズベクトルとして使用することで、収束が速く、性能が向上する。
• Adam 最適化アルゴリズムを用い、学習率 0.00016、バッチサイズ 128、エポック数 165 で学習を実施し、平均二乗誤差（MSE）を最小化する。
• 性能評価は、テストデータにおける RMSE を用い、5日、15日、30日予測期間で LSTM、GRU、汎用 GAN、ARIMA と比較する。

実験結果

リサーチクエスチョン

• RQ1 金融ニュースから抽出したセンチメントスコアは、GAN ベースの株価予測モデルの性能向上に寄与するか？
• RQ2 GAN の生成器において、ランダムノイズの代わりにセンチメントスコアを潜在ベクトルとして使用する場合、収束速度と予測精度はどのように変化するか？
• RQ3 技術的インジケータとセンチメント分析を統合することで、従来のモデルと比較して、多期間予測における株価予測の精度はどの程度向上するか？
• RQ4 提案された S-GAN モデルは、Apple Inc. 株価予測において、LSTM や GRU や ARIMA といった既存モデルを上回る性能を示すか？
• RQ5 日次終値データとセンチメント情報を用いて、リアルタイムまたは intraday トレーディング意思決定に効果的に応用可能か？

主な発見

• S-GAN モデルはテスト RMSE 1.827 を達成し、汎用 GAN の RMSE 2.369 よりも 35% 低減した。
• 5日予測期間では、S-GAN の RMSE は 0.0122 であり、ARIMA（0.121）、LSTM（0.0196）、GRU（0.01975）、汎用 GAN（0.0158）を上回った。
• 15日予測期間では、S-GAN の RMSE は 0.0366 であり、ARIMA（0.3658）、LSTM（0.0585）、GRU（0.05925）、GAN（0.0474）を著しく下回った。
• 30日予測期間では、S-GAN の RMSE は 0.0732 であり、Zhang ら（2019）が報告した類似モデル（センチメントなし）の RMSE よりも 50% 低かった。
• センチメントスコアを潜在入力として組み込むことで、収束が早期に達成された。これは、センチメントが市場の方向性に関する意味のある事前情報を提供していることを示している。
• 識別器が adversarial 学習プロセスにおいて、実際のデータと生成されたデータを識別できることから、S-GAN モデルは市場トレンドを的確に捉え、現実的な価格系列を生成できたことが確認された。