[論文レビュー] Linking microblogging sentiments to stock price movement: An application of GPT-4

Rick Steinert, Saskia Altmann|arXiv (Cornell University)|Aug 31, 2023

Stock Market Forecasting Methods被引用数 5

ひとこと要約

本研究では、2017年のAppleおよびTeslaのStocktwitsからのマイクロブログ感情分析にGPT-4を適用し、文脈的に洗練された感情を抽出する高度なプロンプト工学を用いた。GPT-4は、同じ日の株価動向を予測する際、BERTを上回り、5月に最高で71.47%の正確度を達成した。これは、金融分野における感情分析の文脈的理解の優位性を示している。

ABSTRACT

This paper investigates the potential improvement of the GPT-4 Language Learning Model (LLM) in comparison to BERT for modeling same-day daily stock price movements of Apple and Tesla in 2017, based on sentiment analysis of microblogging messages. We recorded daily adjusted closing prices and translated them into up-down movements. Sentiment for each day was extracted from messages on the Stocktwits platform using both LLMs. We develop a novel method to engineer a comprehensive prompt for contextual sentiment analysis which unlocks the true capabilities of modern LLM. This enables us to carefully retrieve sentiments, perceived advantages or disadvantages, and the relevance towards the analyzed company. Logistic regression is used to evaluate whether the extracted message contents reflect stock price movements. As a result, GPT-4 exhibited substantial accuracy, outperforming BERT in five out of six months and substantially exceeding a naive buy-and-hold strategy, reaching a peak accuracy of 71.47 % in May. The study also highlights the importance of prompt engineering in obtaining desired outputs from GPT-4's contextual abilities. However, the costs of deploying GPT-4 and the need for fine-tuning prompts highlight some practical considerations for its use.

研究の動機と目的

• GPT-4がBERTと比較して、同じ日の株価動向を予測するための感情分析の正確度を向上させるかどうかを評価すること。
• 高度なプロンプト工学が、マイクロブログコンテンツからの文脈的に関連する感情を抽出する上で及ぼす影響を調査すること。
• AppleやTeslaのような高流動性株のリアルタイムの株価リターンに、Stocktwitsのようなプラットフォームからの感情がどれほど予測力を持つのかを評価すること。
• GPT-4のパフォーマンスを、ナードルな「買い持ち戦略」と比較し、感情ベースの予測の統計的有意性を確立すること。
• GPT-4を金融分野の感情分析に導入する際の実用的意義と限界、特にコストとファインチューニングの要件を検討すること。

提案手法

• GPT-4がマイクロブログメッセージから感情、認識された利点・欠点、および特定の企業に関連する関連性を抽出できるように、独自のプロンプト工学フレームワークを構築した。
• GPT-4とBERTの両方を用いて、Stocktwitsのメッセージから毎日の感情スコアを抽出し、感情をポジティブ、ネガティブ、ニュートラルの分類にマッピングした。
• 株価の動きは、毎日の調整済み終値に基づき、上昇／下落として計算され、同じ日の予測はロジスティック回帰を用いて評価された。
• 性能は正確度とp値で測定され、ナードルな買い持ち戦略が統計的有意性のベンチマークとして用いられた。
• 安定的かつ代表的なモデル評価を確保するため、訓練データやテストデータが不足する月（例：1月～3月、10月～12月）は除外された。
• 感情データと株価データを日次でマッチングさせ、ソーシャルメディアの感情と日の内での株価の方向性との即時の相関関係を評価した。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、マイクロブログの感情を用いて、同じ日の株価動向を予測する際、BERTを上回るか？
• RQ2 高度なプロンプト工学は、金融系マイクロブログからの感情抽出の文脈的正確度をどの程度向上させるか？
• RQ3 GPT-4から得られた感情は、ナードルな買い持ち戦略と比較して、株価の方向性を予測する上で統計的に有意か？
• RQ4 GPT-4のパフォーマンスは月ごとにどのように変化し、一貫してBERTを上回っているか？
• RQ5 GPT-4を金融分野の感情分析に導入する際の実用的トレードオフ、特にコストとモデルファインチューニングの要件は何か？

主な発見

• GPT-4は、2017年5月にAppleおよびTeslaの同じ日の株価動向を予測する際、最高で71.47%の正確度を達成し、BERTを顕著に上回った。
• GPT-4は評価された6か月のうち5か月でBERTを上回った。特に5月に最も高い統計的有意性が確認され、p値は4.91×10⁻⁵であった。
• BERTの最高正確度は5月に66.47%であり、依然としてナードルな買い持ちベースライン（評価期間中は46.99%～52.06%）を上回った。
• GPT-4のすべてのp値が0.05のしきい値未満であったため、その予測力は一貫して統計的に有意であった。
• 本研究は、プロンプト工学がGPT-4の文脈的能力を引き出すために不可欠であることを確認した。性能は入力プロンプトの設計に強く依存する。
• 高い正確度にもかかわらず、GPT-4の導入コストと、プロンプトチューニングの注意深い調整が、広範な導入の障壁となっている。