[论文解读] ChatGPT and Deepseek: Can They Predict the Stock Market and Macroeconomy?

Jian Chen, Guohao Tang+2 more|ArXiv.org|Feb 14, 2025

Stock Market Forecasting Methods被引用 5

一句话总结

ChatGPT 能从华尔街日报头条提取信息来预测股票收益和市场风险溢价，而 DeepSeek 表现不佳；其他大型语言模型也表现不佳。

ABSTRACT

We study whether ChatGPT and DeepSeek can extract information from the Wall Street Journal to predict the stock market and the macroeconomy. We find that ChatGPT has predictive power. DeepSeek underperforms ChatGPT, which is trained more extensively in English. Other large language models also underperform. Consistent with financial theories, the predictability is driven by investors' underreaction to positive news, especially during periods of economic downturn and high information uncertainty. Negative news correlates with returns but lacks predictive value. At present, ChatGPT appears to be the only model capable of capturing economic news that links to the market risk premium.

研究动机与目标

• 评估 ChatGPT 与 DeepSeek 是否能够从华尔街日报头版新闻中预测股票市场回报与宏观经济变量。
• 量化来自语言模型的好讯息与坏讯息比率的预测能力。
• 比较 ChatGPT、DeepSeek 与其他大型语言模型在预测性能方面的差异。
• 检验驱动任何预测能力的经济机制（投资者的反应不足、信息不确定性）。

提出的方法

• 以华尔街日报头版头条（1996–2022 年）作为输入数据。
• 提示 ChatGPT-3.5 将头条分类为 GOING UP、GOING DOWN 或 UNKNOWN，并计算月度的好讯息/坏讯息比率。
• 使用好消息比 NR^G 在样本内与样本外对市场超额收益的预测能力进行评估。
• 通过 ChatGPT-4、微调与替代提示进行鲁棒性测试；与 DeepSeek-R1 与 BERT 家族模型进行比较。
• 分析基于嵌入的新颖性指标并控制滞后因子及宏观变量。

实验结果

研究问题

• RQ1 ChatGPT 与 DeepSeek 是否能够从 WSJ 头条中提取信息以预测整体股票市场与市场风险溢价？
• RQ2 来自 ChatGPT 的好消息信号是否对未来回报具有预测性，且样本外表现如何？
• RQ3 ChatGPT、DeepSeek 与其他 LLM 在预测股票回报与宏观经济基本面方面的相对表现如何？

主要发现

• ChatGPT-3.5 的好消息比 NR^G 能正向预测同一时期及未来的市场回报，在年度视角下的 R^2 提高到 8.52%（1996 年 1 月至 2022 年 12 月）。
• NR^G 的样本外 R_OS^2 为 1.17%（2006 年 1 月至 2022 年 12 月），具有实质性的经济价值（在风险厌恶=3 时 CER 增益 4.92%；扣除成本后的 CER 3.55%；夏普比率 0.51 对比市场 0.30）。
• 负面新闻信号与回报存在同期相关性，但对未来回报没有预测能力；好消息驱动预测能力，尤其在下跌阶段和高度不确定性时期。
• DeepSeek-R1 捕捉了新闻对股市的同期反应，但缺乏对未来回报或宏观基本面的预测能力；其信号与情感相关但与 GPT 派生信号不同。
• ChatGPT 在捕捉与市场风险溢价相关的宏观经济信息方面，优于其他大型语言模型（DeepSeek 与 BERT 家族）。