[論文レビュー] Sentiment Predictability for Stocks

Jordan Prosky, Xingyou Song+2 more|arXiv (Cornell University)|Dec 15, 2017

Stock Market Forecasting Methods参考文献 9被引用数 12

ひとこと要約

本稿は、金融ニュースおよびソーシャルメディアのセンチメントに深層学習モデルを適用することで、個別株価の予測可能性を調査する。LSTMと畳み込みネットワークをイベント抽出およびセンチメント分析と組み合わせた結果、モデルは容易に過学習し、予測精度は約50％にとどまり、理論的潜在能力は強いものの、個別株価予測への即時の実用的価値は限定的であることが示された。

ABSTRACT

In this work, we present our findings and experiments for stock-market prediction using various textual sentiment analysis tools, such as mood analysis and event extraction, as well as prediction models, such as LSTMs and specific convolutional architectures.

研究の動機と目的

• 金融ニュースからのセンチメントおよびイベント特徴が、個別株価の動きを予測できるかどうかを検討すること。
• LSTMおよび畳み込みニューラルネットワークの性能を、テキストのセンチメントおよびイベントデータを用いた上昇・下降株価の分類において評価すること。
• 価格データのみを上回る予測精度を向上させるために、イベント抽出およびセンチメント分析が果たす役割を調査すること。
• 深層学習を用いた個別株価予測における過学習やデータ不足といった課題を同定すること。
• 自然言語処理および時系列モデリングを用いたセンチメントベースの個別株価予測の再現可能フレームワークを貢献すること。

提案手法

• 金融ニュースの見出しから得られるセンチメントスコアを用いて、LSTMベースのモデルで株価の上昇／下降を分類した。
• オープン情報抽出（OpenIE）によるイベント埋め込みを用いた畳み込みニューラルネットワーク（CNN）を適用し、ニューステキスト内の意味的イベントを捉えた。
• VADERセンチメント分析とスタンフォードOpenIEによるイベント抽出を統合し、構造化されたイベント表現を生成した。
• 時系列に沿ったニュース記事および株価のシーケンスを用いてモデルを学習し、時系列依存性を評価するために、シャッフル済みおよびシャッフルされていないデータを両方使用した。
• エポック数（50、500）および隠れ層サイズのハイパーパramータチューニングを実施し、過学習およびモデルの一般化性能を評価した。
• 月、週、日というスケールを用いたマルチスケール時系列設定を導入し、長期的・中長期的・短期的予測力の評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 金融ニュースからのセンチメントおよびイベント特徴が、個別株価の方向性予測を改善できるか？
• RQ2 テキストのセンチメントおよびイベントデータを用いた場合、LSTMと畳み込みネットワークの性能はどのように比較できるか？
• RQ3 過学習は、個別株価予測タスクにおける深層学習モデルの一般化をどの程度制限するか？
• RQ4 ニュースデータの時系列順序がモデル性能に顕著に影響を与えるか？
• RQ5 データ量および品質は、個別株価の有意義な予測精度を達成するために果たす役割は何か？

主な発見

• LSTMベースのセンチメントモデルは、訓練精度が90％以上に達したが、過学習の兆候を示し、テスト精度は頭打ちまたは低下した。
• イベント埋め込みを用いた畳み込みネットワークは、最大で約50％のテスト精度にとどまり、ランダムチョイスよりも顕著な予測優位性を示さなかった。
• 全ネットワーク（月、週、日）は著しく過学習し、訓練精度が素早く99％近くに達した。これは、複雑なアーキテクチャに十分なデータが不足していることを示唆している。
• 短期（日次）ネットワークは、エポック数の増加に伴いテスト精度がより一貫して向上したため、一般化の可能性がより高かった。
• 訓練データをシャッフルしてもテスト性能に一貫した向上が得られず、時系列順序が重要である可能性は示唆されたが、現在のモデルでは信頼性を持って活用できていないことがわかった。
• 最先端のNLPツールおよび深層学習アーキテクチャを用いても、モデルはランダムな予測を上回れなかった。これは、現在の手法では個別株価予測が極めて困難であることを強調している。