[논문 리뷰] Transforming Sentiment Analysis in the Financial Domain with ChatGPT

Georgios Fatouros, John Soldatos외 3명|arXiv (Cornell University)|2023. 08. 13.

Stock Market Forecasting Methods인용 수 26

한 줄 요약

본 논문은 외환 감정 분석을 위한 제로샷 ChatGPT 3.5 프롬프트를 조사하고 FinBERT와 비교하며, 선별된 외환-뉴스 데이터셋에서 ChatGPT가 감정 정확도 및 시장 수익률과의 상관관계에서 주목할 만한 향상을 달성함을 보여준다.

ABSTRACT

Financial sentiment analysis plays a crucial role in decoding market trends and guiding strategic trading decisions. Despite the deployment of advanced deep learning techniques and language models to refine sentiment analysis in finance, this study breaks new ground by investigating the potential of large language models, particularly ChatGPT 3.5, in financial sentiment analysis, with a strong emphasis on the foreign exchange market (forex). Employing a zero-shot prompting approach, we examine multiple ChatGPT prompts on a meticulously curated dataset of forex-related news headlines, measuring performance using metrics such as precision, recall, f1-score, and Mean Absolute Error (MAE) of the sentiment class. Additionally, we probe the correlation between predicted sentiment and market returns as an additional evaluation approach. ChatGPT, compared to FinBERT, a well-established sentiment analysis model for financial texts, exhibited approximately 35\% enhanced performance in sentiment classification and a 36\% higher correlation with market returns. By underlining the significance of prompt engineering, particularly in zero-shot contexts, this study spotlights ChatGPT's potential to substantially boost sentiment analysis in financial applications. By sharing the utilized dataset, our intention is to stimulate further research and advancements in the field of financial services.

연구 동기 및 목표

• 미세 조정 없이 ChatGPT (GPT-3.5-turbo)를 이용한 금융 감정 분석의 실현 가능성을 평가한다.
• 감정으로 주석이 달린 외환 관련 뉴스 헤드라인 데이터셋을 작성하고 공유한다.
• 표준 지표와 시장 기반 지표를 사용하여 단일 헤드라인 및 다중 헤드라인 시나리오에 대한 ChatGPT 프롬프트를 평가한다.
• 감정 분류 및 시장 상관관계에서의 이익을 정량화하기 위해 ChatGPT를 FinBERT과 벤치마킹한다.

제안 방법

• AUDUSD, EURCHF, EURUSD, GBPUSD, USDJPY에 걸친 2,291개의 외환 헤드라인 데이터셋을 구성하고 긍정/부정/중립 레이블로 주석을 달는다.
• 제로샷 프롬프트를 사용하여 헤드라인의 감정 또는 감정 점수를 예측하기 위해 API를 통해 OpenAI GPT-3.5-turbo를 이용한다.
• 토큰 또는 JSON 출력을 이끌어내기 위한 다수의 프롬프트(P1–P6 및 이들의 숫자 변형 P1N–P6N)를 설계하고 프롬프트 엔지니어링 효과를 평가한다.
• 정확도, 정밀도, 재현율, F1 및 Sentiment MAE (S-MAE)를 사용하여 Hugging Face Transformers를 통해 FinBERT와 ChatGPT 결과를 비교한다.
• 외환 쌍별로 일일 감정 점수를 집계하고 Pearson correlation 및 방향 정확도를 사용하여 시장 수익과 비교 평가한다.
• API 기반 감정 분석 실험의 지연 시간, 토큰 사용량, 비용 관리에 대해 보고한다.

Figure 1: Histogram of News Volume per Day

실험 결과

연구 질문

• RQ1 미세 조정 없이 ChatGPT가 외환과 관련된 금융 헤드라인에서 감정을 정확하게 분류할 수 있는가?
• RQ2 정교하게 설계된 프롬프트가 금융 감정 작업에서 ChatGPT를 FinBERT보다 우수하게 만들고 시장 움직임 예측에 기여하는가?
• RQ3 감정 출력(클래스 대 점수)이 일일 시장 수익과의 상관관계 및 거래 방향에 어떤 영향을 미치는가?
• RQ4 제로샷 금융 감정 분석에서 프롬프트 설계의 역할은 무엇인가?

주요 결과

• ChatGPT 기반 프롬프트는 FinBERT보다 대략 35%의 감정 분류 성능에서 더 높은 성과를 거두었다.
• ChatGPT는 시장 수익과의 상관관계에서 FinBERT에 비해 약 36% 더 높은 상관관계를 보였다.
• 프롬프트 및 프롬프트 엔지니어링은 제로샷 ChatGPT의 금융 감정 분석 성능에 상당한 영향을 미친다.
• 연구는 추가 연구를 지원하기 위한 공개적으로 이용 가능한 외환 중심의 주석 데이터셋을 제공한다.
• 헤드라인 감정을 일일로 집계하는 방식을 통해 시장 관련 평가를 Pearson 상관관계 및 방향성 정확도로 수행할 수 있다.
• 평가에는 전통적 감정 지표와 시장 정렬 지표가 모두 포함되어 실제 거래에 대한 유용성을 평가한다.

Figure 2: Time Series Plot of Sentiment Labels per Week