[論文レビュー] Transforming Sentiment Analysis in the Financial Domain with ChatGPT

Georgios Fatouros, John Soldatos+3 more|arXiv (Cornell University)|Aug 13, 2023

Stock Market Forecasting Methods被引用数 26

ひとこと要約

本論文は、外為感情分析のためのゼロショット ChatGPT 3.5 プロンプトを検討し、FinBERT と比較し、 curated foreign exchange-news データセットで感情精度と市場リターンとの相関において ChatGPT が顕著な向上を達成することを示しています。

ABSTRACT

Financial sentiment analysis plays a crucial role in decoding market trends and guiding strategic trading decisions. Despite the deployment of advanced deep learning techniques and language models to refine sentiment analysis in finance, this study breaks new ground by investigating the potential of large language models, particularly ChatGPT 3.5, in financial sentiment analysis, with a strong emphasis on the foreign exchange market (forex). Employing a zero-shot prompting approach, we examine multiple ChatGPT prompts on a meticulously curated dataset of forex-related news headlines, measuring performance using metrics such as precision, recall, f1-score, and Mean Absolute Error (MAE) of the sentiment class. Additionally, we probe the correlation between predicted sentiment and market returns as an additional evaluation approach. ChatGPT, compared to FinBERT, a well-established sentiment analysis model for financial texts, exhibited approximately 35\% enhanced performance in sentiment classification and a 36\% higher correlation with market returns. By underlining the significance of prompt engineering, particularly in zero-shot contexts, this study spotlights ChatGPT's potential to substantially boost sentiment analysis in financial applications. By sharing the utilized dataset, our intention is to stimulate further research and advancements in the field of financial services.

研究の動機と目的

• ファインチューニングなしで金融感情分析に ChatGPT（GPT-3.5-turbo）を使用する実現可能性を評価する。
• 感情ラベル付きの外為関連ニュース見出しデータセットを作成・共有する。
• 標準指標と市場ベースの指標を用いて単一・複数見出しシナリオの ChatGPT プロンプトを評価する。
• 感情分類と市場相関のギャップを定量化するために FinBERT とのベンチマークを実施する。

提案手法

• 2,291 件の見出し（AUDUSD、EURCHF、EURUSD、GBPUSD、USDJPY）を正・負・中立ラベル付きで外為見出しデータセットとして組み立て、注釈付けする。
• 0-shot プロンプトを用いて OpenAI GPT-3.5-turbo via API により見出しの感情または感情スコアを予測する。
• トークン出力または JSON 出力を促す複数のプロンプト（P1–P6 および数値バリアント P1N–P6N）を設計し、プロンプト設計の効果を評価する。
• ChatGPT の結果を FinBERT（Hugging Face Transformers 経由）と比較し、正確さ、適合率、再現率、F1、Senti ment MAE（S-MAE）を用いて評価する。
• 外貨ペアごとに日次の感情スコアを集計し、Pearson 相関と方向性正確性を用いて市場リターンと比較評価する。
• API ベースの感情分析実験のレイテンシ、トークン使用量、コスト管理を報告する。

Figure 1: Histogram of News Volume per Day

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングなしで、外為に関連する金融見出しの感情を正確に分類できるか？
• RQ2 慎重に設計されたプロンプトは、金融感情タスクと市場動向の予測において ChatGPT が FinBERT を上回ることを可能にするか？
• RQ3 感情出力（クラス対スコア）は日次の市場リターンとの相関と取引方向性にどのように影響するか？
• RQ4 ゼロショットの金融感情分析におけるプロンプト設計の役割は何か？

主な発見

• ChatGPT ベースのプロンプトは FinBERT より約 35% 高い感情分類性能を達成した。
• ChatGPT は市場リターンとの相関で FinBERT より約 36% 高いことを示した。
• プロンプトとプロンプト設計は金融感情分析におけるゼロショット ChatGPT の性能に大きな影響を与える。
• 研究はさらなる研究を支援する公開の外為焦点の注釈付きデータセットを提供する。
• 見出し感情を日次に集計することで、Pearson 相関と方向性正確性を通じた市場関連評価を可能にする。
• 評価には伝統的な感情指標と市場連携指標の両方を含め、実用的な取引関連性を評価する。

Figure 2: Time Series Plot of Sentiment Labels per Week