[論文レビュー] Multimodal deep learning for short-term stock volatility prediction

Marcelo Sardelich, Suresh Manandhar|arXiv (Cornell University)|Dec 25, 2018

Stock Market Forecasting Methods参考文献 44被引用数 8

ひとこと要約

本稿では、株価の変動とニュース見出しを統合的に符号化することで、1日先のボラティリティを予測するマルチモーダル深層学習モデルを提案する。5つの金融セクターにおいて、広く用いられるGARCH(1,1)モデルを上回る性能を発揮する。モデルは階層的アテンション機構を用いて関連性の高いニュースを優先し、NLI文符号化器からの転移学習を実装することで、R²、MSE、MAEの指標において、価格とニュースデータを統合した場合に優れた性能を達成する。

ABSTRACT

Stock market volatility forecasting is a task relevant to assessing market risk. We investigate the interaction between news and prices for the one-day-ahead volatility prediction using state-of-the-art deep learning approaches. The proposed models are trained either end-to-end or using sentence encoders transfered from other tasks. We evaluate a broad range of stock market sectors, namely Consumer Staples, Energy, Utilities, Heathcare, and Financials. Our experimental results show that adding news improves the volatility forecasting as compared to the mainstream models that rely only on price data. In particular, our model outperforms the widely-recognized GARCH(1,1) model for all sectors in terms of coefficient of determination $R^2$, $MSE$ and $MAE$, achieving the best performance when training from both news and price data.

研究の動機と目的

• 深層学習を用いてテキストのニュースと価格データを統合することで、短期のボラティリティ予測を改善すること。
• ニュースの関連性と時間的文脈を、市場反応と関連付ける際の課題に対処すること。
• 自然言語処理タスク（例：NLI）からの転移学習が、金融ボラティリティ予測に有効であるかを評価すること。
• マルチモーダルモデリングが、単一モーダル（価格のみ）または単純なニュース集約手法を上回るかを評価すること。
• 異なる文符号化器アーキテクチャの予測性能に与える影響を調査すること。

提案手法

• 価格時系列とニュース見出しを別々に処理した後、統合する階層的エンドツーエンドの深層学習アーキテクチャを採用する。
• コンテンツに基づいて、各日における最も重要なニュースに動的に注目するニュース関連性アテンション機構を採用する。
• 過去のニュースの系列とその累積的影響を考慮するための時間的文脈モデリングを実装する。
• 共有された株式埋め込みを用いたマルチストックミニバッチ学習戦略を採用し、複数の株式間の共通性をモデル化する。
• SNLIおよびReuters RCV1データセットで事前学習された文符号化器を微調整することで、転移学習を活用する。
• アブレーションスタディにより選定された最適な文符号化器アーキテクチャとして、BiLSTMにマックスプーリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 価格データに加えてニュース見出しを統合することで、単に価格データのみを用いるモデルと比較して、1日先のボラティリティ予測が改善されるか？
• RQ2 ニュースの統合は、深層学習モデルの短期ボラティリティ予測性能にどのように影響するか？
• RQ3 事前学習された文符号化器（例：NLIや金融テキストからのもの）のうち、どのものがボラティリティ予測においてより優れた性能を発揮するか？
• RQ4 関連性の高いニュースに注目するアテンション機構が、予測精度をどの程度向上させるか？
• RQ5 提案されたマルチモーダルモデルは、多様な金融セクターに一般化可能か？

主な発見

• 提案されたマルチモーダルモデル（価格＋ニュース）は、すべての5つのセクター（消費財、エネルギー、インfra、医療、金融）において、R²、MSE、MAEの指標でGARCH(1,1)モデルを上回る。
• 消費財セクターでは、R²が0.538（GARCHの0.406対比）、MSEが3.04×10⁻⁵（3.98×10⁻⁵対比）、MAEが3.72×10⁻³（4.34×10⁻³対比）を達成した。
• SNLI NLIデータセットから転移学習した文符号化器にBiLSTM＋マックスプーリングを組み合わせたアーキテクチャが、テストした文符号化器の中で最高の性能を発揮した。
• アブレーションスタディにより、単純なニュースの平均化よりも、ニュース関連性アテンション層が顕著に性能向上をもたらすことが確認された。
• ニュースモダリティを完全に除去すると、予測精度が低下し、テキスト情報の追加的価値が裏付けられた。
• モデルはセクターをまたいで一貫してGARCH(1,1)を上回る性能を示し、一般化能が強く確認された。