[論文レビュー] DP-LSTM: Differential Privacy-inspired LSTM for Stock Prediction Using Financial News

Xinyi Li, Yinchuan Li+3 more|arXiv (Cornell University)|Dec 19, 2019

Stock Market Forecasting Methods被引用数 26

ひとこと要約

本論文では、VADERを用いた財務ニュースセンチメントと微分プライバシー（DP）を統合することで、株価予測を改善する新しい深層学習モデル、DP-LSTMを提案する。LSTMとセンチメント-ARMAモデリング、DPノイズ注入を組み合わせることで、予測誤差を低減し、モデルの頑健性を向上させ、ベースラインモデルと比較してS&P 500インデックス予測において平均MPAが0.32%向上し、MSEは最大65.79%低減した。

ABSTRACT

Stock price prediction is important for value investments in the stock market. In particular, short-term prediction that exploits financial news articles is promising in recent years. In this paper, we propose a novel deep neural network DP-LSTM for stock price prediction, which incorporates the news articles as hidden information and integrates difference news sources through the differential privacy mechanism. First, based on the autoregressive moving average model (ARMA), a sentiment-ARMA is formulated by taking into consideration the information of financial news articles in the model. Then, an LSTM-based deep neural network is designed, which consists of three components: LSTM, VADER model and differential privacy (DP) mechanism. The proposed DP-LSTM scheme can reduce prediction errors and increase the robustness. Extensive experiments on S&P 500 stocks show that (i) the proposed DP-LSTM achieves 0.32% improvement in mean MPA of prediction result, and (ii) for the prediction of the market index S&P 500, we achieve up to 65.79% improvement in MSE.

研究の動機と目的

• 非構造的な財務ニュースを株価予測に統合する課題に取り組み、主観的な報道によるバイアスを最小限に抑えること。
• ニュース記事からのセンチメント分析を深層学習フレームワークに統合することで、予測精度とモデルの頑健性を向上させること。
• LSTMモデルの学習プロセスに微分プライバシー（DP）を適用することで、過学習を低減し、一般化性能を向上させること。
• 時系列モデリングにARMAを組み合わせた深層ニューラルネットワークと統合したハイブリッドモデルを構築し、短期間の株価予測を改善すること。

提案手法

• 本モデルは、財務ニュース記事からのセンチメントスコアを統合することで従来のARMAを拡張したセンチメント-ARMAフレームワークを採用する。
• ニュースの見出しや記事から極性と強度を両方捉えるために、VADERセンチメント分析ツールを用いて複合センチメントスコアを抽出する。
• 3要素の深層ニューラルネットワークを設計：時系列モデリングのためのLSTM層、ニュース入力のためのセンチメントエンコーダ、学習中にノイズを注入するための微分プライバシー機構。
• 微分プライバシーは、個々のデータポイントを保護し、過学習を低減するために勾配またはモデルパラメータにラプラスまたはガウスノイズを追加することで適用される。
• 損失関数は平均二乗誤差（MSE）であり、大規模なファイナンシャルデータに対して効率的な学習を実現するためADAM最適化手法を用いる。
• 価格スケールの違いを考慮し、個々の株式について別々にモデルを学習し、統計的信頼性を確保するため451回の独立した学習結果を集約する。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースのモデルに財務ニュースセンチメントを統合することで、短期間の株価予測精度が向上するか？
• RQ2 学習プロセスに微分プライバシーを適用することで、株価予測モデルの頑健性と一般化性能にどのような影響を与えるか？
• RQ3 センチメント-ARMAモデリングと深層学習を組み合わせることで、S&P 500インデックスにおける予測パフォーマンスはどの程度向上するか？
• RQ4 DP-LSTMモデルは、標準LSTMおよびニュースのみを入力とするLSTMと比較して、精度と誤差低減の両面で優れているか？
• RQ5 多様なニュースソースからのセンチメントスコアの統合は、金融予測におけるモデルの安定性とリスク低減にどのように寄与するか？

主な発見

• DP-LSTMモデルは、ニュース入力付きの標準LSTMと比較して、平均予測精度（MPA）が0.32%向上し、精度の向上が明確に示された。
• S&P 500インデックス予測において、DP-LSTMはベースラインLSTMに比べて平均二乗誤差（MSE）を最大65.79%低減した。
• 視覚的比較により、DP-LSTMの予測結果は、ニュースあり・なしの両方のLSTMと比較して、実際のS&P 500インデックス価格ラインに一貫して近づいていることが示された。
• DP-LSTMの平均MPAは0.98158であり、ニュースありLSTM（0.97837）およびニュースなしLSTM（0.97831）を上回り、優れた予測性能を示した。
• 微分プライバシーの適用により、モデルの個々のデータポイントへの感受性が顕著に低減され、ノイズが多いまたはバイアスのかかっているニュース報道に対しても頑健性が向上した。
• VADERからの複合センチメントスコアは、時間経過とともにニュートラルからややネガティブの傾向を示しており、モデルはこれを効果的に活用して予測精度を向上させた。