[论文解读] Linking microblogging sentiments to stock price movement: An application of GPT-4

Rick Steinert, Saskia Altmann|arXiv (Cornell University)|Aug 31, 2023

Stock Market Forecasting Methods被引用 5

一句话总结

本研究将 GPT-4 应用于分析 2017 年苹果和特斯拉在 Stocktwits 上的微博情绪，通过高级提示工程提取具有上下文意义的情绪。GPT-4 在预测同日股价走势方面优于 BERT，5 月达到 71.47% 的峰值准确率，显示出在金融情绪分析中卓越的上下文理解能力。

ABSTRACT

This paper investigates the potential improvement of the GPT-4 Language Learning Model (LLM) in comparison to BERT for modeling same-day daily stock price movements of Apple and Tesla in 2017, based on sentiment analysis of microblogging messages. We recorded daily adjusted closing prices and translated them into up-down movements. Sentiment for each day was extracted from messages on the Stocktwits platform using both LLMs. We develop a novel method to engineer a comprehensive prompt for contextual sentiment analysis which unlocks the true capabilities of modern LLM. This enables us to carefully retrieve sentiments, perceived advantages or disadvantages, and the relevance towards the analyzed company. Logistic regression is used to evaluate whether the extracted message contents reflect stock price movements. As a result, GPT-4 exhibited substantial accuracy, outperforming BERT in five out of six months and substantially exceeding a naive buy-and-hold strategy, reaching a peak accuracy of 71.47 % in May. The study also highlights the importance of prompt engineering in obtaining desired outputs from GPT-4's contextual abilities. However, the costs of deploying GPT-4 and the need for fine-tuning prompts highlight some practical considerations for its use.

研究动机与目标

• 评估 GPT-4 是否在预测同日股价走势方面相较于 BERT 提升了情绪分析的准确性。
• 研究高级提示工程在从微博内容中提取具有上下文相关性情绪方面的影响。
• 评估来自 Stocktwits 等平台的情绪对苹果和特斯拉等高流动性股票的实时股价回报的预测能力。
• 将 GPT-4 的表现与简单的买入并持有策略进行比较，并验证情绪预测的统计显著性。
• 探讨在金融情绪分析中部署 GPT-4 的实际影响与局限性，包括成本和微调需求。

提出的方法

• 开发了一种新颖的提示工程框架，以引导 GPT-4 从微博消息中提取情绪、感知优势或劣势，以及与特定公司的相关性。
• 使用 GPT-4 和 BERT 从 Stocktwits 消息中提取每日情绪得分，情绪被归类为正面、负面或中性。
• 股价走势根据每日调整后收盘价计算为上涨/下跌，并通过逻辑回归评估同日预测。
• 通过准确率和 p 值衡量性能，并以简单的买入并持有策略作为基准，验证统计显著性。
• 为确保模型评估的稳定性和代表性，排除了训练或测试数据不足的月份（如 1 月至 3 月，10 月至 12 月）。
• 将情绪与股价数据按日匹配，以评估社交媒体情绪与盘中股价方向之间的即时相关性。

实验结果

研究问题

• RQ1 GPT-4 是否在利用微博情绪预测同日股价走势方面优于 BERT？
• RQ2 高级提示工程在多大程度上提升了从金融微博中提取情绪的上下文准确性？
• RQ3 与简单的买入并持有策略相比，GPT-4 提取的情绪在预测股价方向方面是否具有统计显著性？
• RQ4 GPT-4 的表现如何随不同月份变化，是否始终优于 BERT？
• RQ5 在金融情绪分析中部署 GPT-4 的实际权衡是什么，特别是成本和模型微调方面？

主要发现

• GPT-4 在 2017 年 5 月对苹果和特斯拉的同日股价走势预测中达到 71.47% 的峰值准确率，显著优于 BERT。
• 在评估的六个月中，GPT-4 在五个月中表现优于 BERT，其中 5 月的统计显著性最高，p 值为 4.91×10⁻⁵。
• BERT 的最佳准确率为 66.47%（同样在 5 月），仍优于简单的买入并持有基线，后者在评估期间的准确率范围为 46.99% 至 52.06%。
• GPT-4 所有预测的 p 值均低于 0.05 的显著性阈值，表明其预测能力具有持续的统计显著性。
• 本研究证实，提示工程对于释放 GPT-4 的上下文能力至关重要，因为性能高度依赖于输入提示的设计。
• 尽管准确率很高，但 GPT-4 的部署成本以及对精细提示调优的需求构成了其广泛采用的实际障碍。