[論文レビュー] Stock Movement Prediction with Financial News using Contextualized Embedding from BERT

Qinkai Chen|arXiv (Cornell University)|Jul 19, 2021

Stock Market Forecasting Methods参考文献 55被引用数 14

ひとこと要約

本稿では、ブルームバーグ・ニュースデータを用いて、金融ニュースに特化した微調整されたBERTを用いて、短期株価動向を予測するドメイン固有の文脈的埋め込みを生成する、微調整済み文脈的埋め込み再帰的ニューラルネットワーク（FT-CE-RNN）を提案する。このモデルは、精度およびシミュレーテッド・トレーディング戦略の両面で、ベースラインモデルを著しく上回る最先端の性能を達成している。

ABSTRACT

News events can greatly influence equity markets. In this paper, we are interested in predicting the short-term movement of stock prices after financial news events using only the headlines of the news. To achieve this goal, we introduce a new text mining method called Fine-Tuned Contextualized-Embedding Recurrent Neural Network (FT-CE-RNN). Compared with previous approaches which use static vector representations of the news (static embedding), our model uses contextualized vector representations of the headlines (contextualized embeddings) generated from Bidirectional Encoder Representations from Transformers (BERT). Our model obtains the state-of-the-art result on this stock movement prediction task. It shows significant improvement compared with other baseline models, in both accuracy and trading simulations. Through various trading simulations based on millions of headlines from Bloomberg News, we demonstrate the ability of this model in real scenarios.

研究の動機と目的

• 静的単語埋め込みの代わりに文脈的表現を用いることで、金融ニュースヘッドラインからの株価動向予測を改善すること。
• 金融ニュースデータにBERTを微調整することでドメイン固有の知識を統合し、モデル性能を向上させること。
• 市場に影響を与えるニュースに焦点を当てた評価指標を開発し、実際の投資家意思決定を反映させること。
• 方向性のある株価変動予測において、文脈的埋め込みが静的埋め込みを上回ることを示すこと。
• 実世界のニュースデータを用いた広範なトレーディングシミュレーションを通じて、モデルの予測能力を検証すること。

提案手法

• 金融ニュースヘッドラインの大規模コーパスに対してBERT言語モデルを微調整し、文脈的埋め込みを金融ドメインに適応させること。
• 微調整済みBERTモデルの最終層から文脈的埋め込みを抽出し、意味的意味と文脈特化単語表現を両方ともにエンコードすること。
• ヘッドラインの逐次的依存関係をモデル化するため、文脈的埋め込みを双方向LSTMネットワークに供給すること。
• ヘッドラインを陽性または陰性の株価動向シグナルとして分類するために、バイナリクロスエントロピー損失関数を用いてFT-CE-RNNモデルをエンドツーエンドで訓練すること。
• 実際のトレーディングパフォーマンスをよりよく反映させるために、上位パフォーマンスのニュース（例：上位1%、5%）に焦点を当てた新しい評価プロトコルを用いること。
• 異なるBERT層および分類スキーム（2クラス対比3クラス）のパフォーマンスを比較するアブレーションスタディを実施すること。

実験結果

リサーチクエスチョン

• RQ1 微調整済みBERTからの文脈的埋め込みを用いることで、静的埋め込みと比較して株価動向予測の正確性が向上するか？
• RQ2 金融ニュースにBERTを微調整することで、市場に影響を与えるニュースを検出する能力が向上するか？
• RQ3 FT-CE-RNNモデルの性能は、精度およびシミュレーテッド・トレーディングリターンの両面でベースラインモデルと比較してどうなるか？
• RQ4 2クラス分類（陽性／陰性）が3クラス分類（陽性／ニュートラル／陰性）を上回る性能を示すか？
• RQ5 どのBERT層が株価予測タスクに最も効果的な文脈的埋め込みを提供するか？

主な発見

• FT-CE-RNNモデルは、市場に影響を与えるニュース上位1%において、テスト精度74.5%を達成し、ベースラインモデルを著しく上回っている。
• モデルは、シミュレーテッド・トレーディング環境でも優れたパフォーマンスを示しており、実世界の予測能力が強いことを示している。
• 金融ニュースにBERTを微調整することで、ドメイン固有のニュアンスを捉えることができるより優れた文脈的埋め込みが得られ、予測精度が向上している。
• BERTの最終層（L）からの埋め込みが最良のパフォーマンスを示しており、低層（例：L-1、L-2）は文脈が不十分なため性能が低下している。
• 3クラス分類モデルは2クラス分類モデルに比べて性能が劣っており、ニュートラルと市場に影響を与えるニュースの区別が曖昧で、学習が難しいためである。
• 定性的分析により、モデルが意味のあるパターン（例：頻出する肯定的用語「buy」や「raise」、否定的用語「downgrade」や「miss」）を学習していることが確認された。