[논문 리뷰] ChatGPT and Deepseek: Can They Predict the Stock Market and Macroeconomy?

Jian Chen, Guohao Tang외 2명|ArXiv.org|2025. 02. 14.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

ChatGPT가 Wall Street Journal 헤드라인에서 정보를 추출해 주가 수익률과 시장 위험 프리미엄을 예측하는 반면, DeepSeek는 저조; 다른 LLM들도 미흡.

ABSTRACT

We study whether ChatGPT and DeepSeek can extract information from the Wall Street Journal to predict the stock market and the macroeconomy. We find that ChatGPT has predictive power. DeepSeek underperforms ChatGPT, which is trained more extensively in English. Other large language models also underperform. Consistent with financial theories, the predictability is driven by investors' underreaction to positive news, especially during periods of economic downturn and high information uncertainty. Negative news correlates with returns but lacks predictive value. At present, ChatGPT appears to be the only model capable of capturing economic news that links to the market risk premium.

연구 동기 및 목표

• 월스트리트저널 1면 헤드라인으로 ChatGPT와 DeepSeek가 주식시장 수익률 및 거시경제 변수들을 예측할 수 있는지 평가한다.
• LLM에서 도출된 좋은 소식과 나쁜 소식 비율의 예측력을 정량화한다.
• 예측 성능에서 ChatGPT를 DeepSeek 및 다른 대형 언어 모델과 비교한다.
• 어떤 예측력을 야기하는 경제적 메커니즘(투자자 과소반응, 정보 불확실성)을 검토한다.

제안 방법

• 1996–2022년 WSJ 1면 헤드라인을 입력 데이터로 사용한다.
• ChatGPT-3.5에 헤드라인을 GOING UP, GOING DOWN, UNKNOWN으로 분류하고 월별 좋은 소식/나쁜 소식 비율을 계산하도록 프롬프트한다.
• 좋은 소식 비율 NR^G를 사용하여 시장 초과수익의 샘플 내외 예측력을 평가한다.
• ChatGPT-4, 미세조정, 대안 프롬프트로 로버스트니스를 테스트하고 DeepSeek-R1 및 BERT 계열 모델과 비교한다.
• 임베딩 기반 신선도(참신성) 지표를 분석하고 시차 변수 및 거시 변수들을 통제한다.

실험 결과

연구 질문

• RQ1 ChatGPT와 DeepSeek가 WSJ 헤드라인에서 정보를 추출해 전체 주식시장과 시장 위험 프리미엄을 예측할 수 있는가?
• RQ2 ChatGPT의 좋은 소식 신호가 미래 수익률을 예측하는가, 그리고 샘플 밖에서의 성과는 어떤가?
• RQ3 주가수익률과 거시경제 기본요인을 예측하는 데 있어 ChatGPT, DeepSeek, 기타 LLM의 비교 성능은 어떠한가?

주요 결과

• ChatGPT-3.5의 좋은 소식 비율 NR^G는 동시 및 미래의 시장 수익률을 양의 방향으로 예측하며 연간 관측 기간(1996년 1월–2022년 12월) 동안 R^2가 8.52%로 상승한다.
• NR^G의 샘플 외(R_OS^2)은 1.17%(2006년 1월–2022년 12월), 경제적 가치가 의미있으며(CER 증가 4.92% 위험회피도=3일 때; 비용 차감 CER 3.55%; 샤프 비율 0.51 대 시장 0.30).
• 부정적 소식 신호는 수익률과 동시 상관관계는 있지만 향후 수익률 예측력은 없다; 좋은 소식이 예측력을 주도하며 특히 하강기와 불확실성이 높은 시기에 두드러진다.
• DeepSeek-R1은 뉴스에 대한 동시적 주식시장 반응을 포착하지만 미래 수익률이나 거시 기본 변수의 예측력은 부족하다; 그 신호는 정서를 반영하나 GPT 유래 신호와 다르다.
• ChatGPT가 다른 대형 언어 모델(DeepSeek 및 BERT 계열)을 능가하여 시장 위험 프리미엄과 관련된 거시경제 정보를 포착한다.