[論文レビュー] Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models

Alejandro Lopez-Lira, Yuehua Tang|arXiv (Cornell University)|Apr 15, 2023

Stock Market Forecasting Methods被引用数 8

ひとこと要約

本論文は、ChatGPTや他のLLMがニュースの見出しから株価リターンを予測できるかを評価し、正の関連性を見出し、従来のセンチメント手法を上回るChatGPTの性能を示し、特にChatGPT-4が最も強力な結果を示す。

ABSTRACT

We document the capability of large language models (LLMs) like ChatGPT to predict stock market reactions from news headlines without direct financial training. Using post-knowledge-cutoff headlines, GPT-4 captures initial market responses, achieving approximately 90% portfolio-day hit rates for the non-tradable initial reaction. GPT-4 scores also significantly predict the subsequent drift, especially for small stocks and negative news. Forecasting ability generally increases with model size, suggesting that financial reasoning is an emerging capacity of complex LLMs. Strategy returns decline as LLM adoption rises, consistent with improved price efficiency. To rationalize these findings, we develop a theoretical model that incorporates LLM technology, information-processing capacity constraints, underreaction, and limits to arbitrage.

研究の動機と目的

• 大規模言語モデルがテキスト情報を使って株価リターンを予測できるかという問題の動機づけ。
• ChatGPTおよび競合LLMがニュース見出しから意味の信号を抽出して翌日リターンを予測する能力の評価。
• LLMベースの信号と従来のベンダーセンチメント指標の比較。
• 長短ポートフォリオを用いた投資パフォーマンスの定量化と取引コスト耐性の評価。
• GPT-1、GPT-2、BERT、ChatGPT系の進化したモデルがリターン予測力においてどの程度機能するかを探る。

提案手法

• CRSPの米国株リターンと主要ニュースソースの見出しをRavenPackデータと照合してデータセットを構築。
• 各見出しを所定のプロンプトを通じてChatGPTスコア（YES=1、UNKNOWN=0、NO=-1）に変換し、日次で見出しを集計。
• 翌日リターンをChatGPTスコアと競合するセンチメントスコアのアウトオブサンプル予測回帰を、企業固定効果・日付固定効果付きで実行。
• 正負のChatGPT信号に基づくゼロコストのロング/ショートポートフォリオを構築し、取引コストの有無でパフォーマンスを評価。
• ChatGPT-3.5、ChatGPT-4、BART Large、基本モデル（GPT-1、GPT-2、BERT）間のパフォーマンスを比較。
• 推奨の正確性とその明示的な推論語を結びつける新しい方法を用いてモデルの推論を評価。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT由来の見出しセンチメントは従来のセンチメント指標を超えて翌日リターンを予測できるか。
• RQ2 より高度なLLM（例：ChatGPT-4）は初期モデルや基本的なNLPモデルよりも強力な予測力を示すか。
• RQ3 リターン予測可能性は市場の過少反応によって生じ、特に小型株や悪いニュースを持つ銘柄で強いか。
• RQ4 LLMベースの信号を組み込むことで実践的な取引戦略のシャープレシオを改善できるか。

主な発見

• ChatGPT-3.5の信号は翌日リターンと有意に関連し、-1から+1へ動くと翌日リターンは約51.8ベーシスポイントを予測。
• ChatGPT-3.5ベースの自己ファイナンシングロング/ショートは2021-10〜2022-12でコストなしの累積リターンが550％超、取引コストが10-25ベーシスポイントの場合累積リターンはそれぞれ350％と50％。
• ChatGPT-4のロング/ショート戦略は累積リターン350％超、シャープレシオ3.8、最大ドローダウン-10.4％で、ChatGPT-3.5（シャープ3.1、ドローダウン-22.8％）を上回る。
• ChatGPTは従来のベンダーセンチメント指標を回帰分析に両方含めた場合に上回り、ベンダー指標は有意でなくなる。
• 予測可能性は小型株と大型株の両方で存在するが、小型株および悪消息銘柄でより強く、裁定機会の限界を示唆。
• GPT-1、GPT-2、BERTは株式予測能力がほとんどまたは全くないことを示し、より大きく有能なモデルの価値を強調。