[论文解读] Transforming Sentiment Analysis in the Financial Domain with ChatGPT

Georgios Fatouros, John Soldatos+3 more|arXiv (Cornell University)|Aug 13, 2023

Stock Market Forecasting Methods被引用 26

一句话总结

本论文研究零-shot ChatGPT 3.5 提示在外汇情感分析中的应用，与 FinBERT 进行比较，并展示 ChatGPT 在情感准确性及其与市场回报相关性方面在精选的外汇新闻数据集上取得显著提升。

ABSTRACT

Financial sentiment analysis plays a crucial role in decoding market trends and guiding strategic trading decisions. Despite the deployment of advanced deep learning techniques and language models to refine sentiment analysis in finance, this study breaks new ground by investigating the potential of large language models, particularly ChatGPT 3.5, in financial sentiment analysis, with a strong emphasis on the foreign exchange market (forex). Employing a zero-shot prompting approach, we examine multiple ChatGPT prompts on a meticulously curated dataset of forex-related news headlines, measuring performance using metrics such as precision, recall, f1-score, and Mean Absolute Error (MAE) of the sentiment class. Additionally, we probe the correlation between predicted sentiment and market returns as an additional evaluation approach. ChatGPT, compared to FinBERT, a well-established sentiment analysis model for financial texts, exhibited approximately 35\% enhanced performance in sentiment classification and a 36\% higher correlation with market returns. By underlining the significance of prompt engineering, particularly in zero-shot contexts, this study spotlights ChatGPT's potential to substantially boost sentiment analysis in financial applications. By sharing the utilized dataset, our intention is to stimulate further research and advancements in the field of financial services.

研究动机与目标

• 评估在不进行微调的情况下使用 ChatGPT（GPT-3.5-turbo）进行金融情感分析的可行性。
• 创建并分享一个带情感标注的外汇相关新闻标题数据集。
• 使用标准指标和市场相关指标评估 ChatGPT 在单条和多条新闻标题情景下的提示效果。
• 将 ChatGPT 与 FinBERT 进行基准比较，以量化情感分类和市场相关性的提升。

提出的方法

• 组装并标注一个外汇标题数据集（2,291 条标题，覆盖 AUDUSD、EURCHF、EURUSD、GBPUSD、USDJPY），标注为正/负/中性。
• 通过 API 使用 OpenAI GPT-3.5-turbo，采用零-shot 提示来预测标题的情感或情感分数。
• 设计多种提示（P1–P6 及其数值变体 P1N–P6N），以引出 token 或 JSON 输出并评估提示工程效果。
• 使用准确度、精确率、召回率、F1 和情感 MAE（S-MAE）将 ChatGPT 结果与 FinBERT（通过 Hugging Face Transformers）进行比较。
• 按外汇对组合并每日情感分数，并使用皮尔逊相关和方向性准确度评估其对市场回报的相关性。
• 汇报基于 API 的情感分析实验的时延、令牌使用和成本管理。

Figure 1: Histogram of News Volume per Day

实验结果

研究问题

• RQ1 在不进行微调的情况下，ChatGPT 是否能准确对与外汇相关的金融新闻标题进行情感分类？
• RQ2 经过精心设计的提示是否能使 ChatGPT 在金融情感任务和预测市场走势方面胜过 FinBERT？
• RQ3 情感输出（类别 vs. 分数）如何影响与日常市场回报及交易方向的相关性？
• RQ4 在使用 ChatGPT 的零-shot 金融情感分析中，提示设计的作用是什么？

主要发现

• 基于 ChatGPT 的提示在情感分类性能上比 FinBERT 高出约 35%。
• ChatGPT 与市场回报的相关性约高出 36% 相较于 FinBERT。
• 提示和提示工程显著影响零-shot 的 ChatGPT 在金融情感分析中的表现。
• 该研究提供一个公开可获取的、以外汇为重点的带标注数据集，以支持进一步研究。
• 使用每日标题情感聚合，该方法通过皮尔逊相关和方向性准确度实现市场相关评估。
• 评估同时包含传统情感指标和与市场相关的指标，以评估实际交易相关性。

Figure 2: Time Series Plot of Sentiment Labels per Week