[논문 리뷰] Linking microblogging sentiments to stock price movement: An application of GPT-4

Rick Steinert, Saskia Altmann|arXiv (Cornell University)|2023. 08. 31.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

이 연구는 2017년 애플과 테슬라의 스톡트위츠에서의 마이크로블로깅 감성 분석에 GPT-4를 적용하여, 첨단 프롬프트 엔지니어링을 통해 맥락적으로 세밀한 감성 정보를 추출한다. GPT-4는 동일 일일 주가 움직임 예측에서 BERT를 능가하여 5월에 최고 정확도 71.47%를 기록하며 금융 감성 분석 분야에서 뛰어난 맥락 이해 능력을 입증한다.

ABSTRACT

This paper investigates the potential improvement of the GPT-4 Language Learning Model (LLM) in comparison to BERT for modeling same-day daily stock price movements of Apple and Tesla in 2017, based on sentiment analysis of microblogging messages. We recorded daily adjusted closing prices and translated them into up-down movements. Sentiment for each day was extracted from messages on the Stocktwits platform using both LLMs. We develop a novel method to engineer a comprehensive prompt for contextual sentiment analysis which unlocks the true capabilities of modern LLM. This enables us to carefully retrieve sentiments, perceived advantages or disadvantages, and the relevance towards the analyzed company. Logistic regression is used to evaluate whether the extracted message contents reflect stock price movements. As a result, GPT-4 exhibited substantial accuracy, outperforming BERT in five out of six months and substantially exceeding a naive buy-and-hold strategy, reaching a peak accuracy of 71.47 % in May. The study also highlights the importance of prompt engineering in obtaining desired outputs from GPT-4's contextual abilities. However, the costs of deploying GPT-4 and the need for fine-tuning prompts highlight some practical considerations for its use.

연구 동기 및 목표

• GPT-4가 BERT에 비해 동일 일일 주가 움직임 예측을 위한 감성 분석 정확도를 향상시키는지 평가하는 것.
• 첨단 프롬프트 엔지니어링이 금융 마이크로블로깅 콘텐츠에서 맥락적으로 관련 있는 감성 정보를 추출하는 데 미치는 영향을 조사하는 것.
• 애플과 테슬라처럼 유동성이 높은 주식의 실시간 주가 수익률에 대해 스톡트위츠와 같은 플랫폼에서 유도된 감성의 예측 능력을 평가하는 것.
• GPT-4의 성능을 단순한 매수 후持有 전략과 비교하여 감성 기반 예측의 통계적 유의성을 확립하는 것.
• GPT-4를 금융 감성 분석에 도입할 때의 실용적 함의와 한계, 특히 비용과 모델 피팅 요구 사항을 탐색하는 것.

제안 방법

• GPT-4가 마이크로블로깅 메시지에서 감성, 인식된 이점 또는 열등점, 특정 기업과의 관련성을 추출하도록 이끄는 새로운 프롬프트 엔지니어링 프레임워크를 개발하였다.
• GPT-4와 BERT를 모두 사용하여 스톡트위츠 메시지에서 매일 감성 점수를 추출하였으며, 감성은 긍정, 부정, 중립으로 분류되었다.
• 주가 움직임은 매일 조정된 종가 기반으로 상승/하락으로 계산되었으며, 동일 일일 예측은 로지스틱 회귀를 사용하여 평가되었다.
• 정확도와 p-값을 성능 측정 지표로 사용하였으며, 통계적 유의성을 확보하기 위해 단순한 매수 후持有 전략을 기준선으로 삼았다.
• 안정적이고 대표적인 모델 평가를 위해 훈련 또는 테스트 데이터가 부족한 월(예: 1월~3월, 10월~12월)은 제외되었다.
• 감성 및 주가 데이터를 매일 기준으로 매칭하여 소셜 미디어 감성과 당일 주가 방향 간의 즉각적인 상관관계를 평가하였다.

실험 결과

연구 질문

• RQ1 GPT-4는 마이크로블로깅 감성 정보를 활용해 동일 일일 주가 움직임을 예측하는 데서 BERT를 능가하는가?
• RQ2 첨단 프롬프트 엔지니어링은 금융 마이크로블로그에서 감성 추출의 맥락적 정확도를 어느 정도 향상시키는가?
• RQ3 GPT-4에서 도출된 감성은 단순한 매수 후持有 전략에 비해 주가 방향 예측에서 통계적으로 유의한가?
• RQ4 GPT-4의 성능은 다양한 월에 따라 어떻게 변화하며, 일관되게 BERT를 능가하는가?
• RQ5 GPT-4를 금융 감성 분석에 도입할 때의 실용적 트레이드오프는 무엇이며, 특히 비용과 모델 피팅 요구 사항은 어떠한가?

주요 결과

• GPT-4는 2017년 5월에 애플과 테슬라의 동일 일일 주가 움직임 예측에서 최고 정확도 71.47%를 기록하며 BERT를 뚜렷이 능가하였다.
• 평가된 6개월 중 5개월 동안 GPT-4는 BERT를 능가하였으며, 통계적 유의성이 가장 높은 달은 5월이었으며, p-값은 4.91×10⁻⁵였다.
• BERT의 최고 정확도는 5월에 66.47%였으며, 여전히 단순한 매수 후持有 기준선(평가 기간 동안 46.99%에서 52.06% 사이)을 초월하였다.
• GPT-4 예측의 모든 p-값은 0.05 이하였으며, 이는 그 예측 능력이 일관되게 통계적으로 유의하다는 것을 의미한다.
• 이 연구는 프롬프트 엔지니어링이 GPT-4의 맥락적 능력을 해방하는 데 핵심적이라는 것을 확인하였으며, 성능은 입력 프롬프트 설계에 크게 의존한다.
• 높은 정확도에도 불구하고 GPT-4의 배포 비용과 정교한 프롬프트 튜닝 요구 사항은 광범위한 도입에 실용적 장벽을 제기한다.