[論文レビュー] Are ChatGPT and GPT-4 General-Purpose Solvers for Financial Text Analytics? A Study on Several Typical Tasks

Xianzhi Li, Chan, Samuel+5 more|arXiv (Cornell University)|May 10, 2023

Stock Market Forecasting Methods被引用数 15

ひとこと要約

本論文は、ChatGPTとGPT-4を金融NLPの8つのベンチマーク、5つのタスクカテゴリにわたって実証的に評価し、ドメイン特化モデルやファインチューニング済みのベースラインと比較して、金融分野における強みと限界を評価する。

ABSTRACT

The most recent large language models(LLMs) such as ChatGPT and GPT-4 have shown exceptional capabilities of generalist models, achieving state-of-the-art performance on a wide range of NLP tasks with little or no adaptation. How effective are such models in the financial domain? Understanding this basic question would have a significant impact on many downstream financial analytical tasks. In this paper, we conduct an empirical study and provide experimental evidences of their performance on a wide variety of financial text analytical problems, using eight benchmark datasets from five categories of tasks. We report both the strengths and limitations of the current models by comparing them to the state-of-the-art fine-tuned approaches and the recently released domain-specific pretrained models. We hope our study can help understand the capability of the existing models in the financial domain and facilitate further improvements.

研究の動機と目的

• 金融テキスト分析タスクにおける汎用大規模言語モデル（ChatGPTとGPT-4）の有効性を評価する。
• それらの性能を、ドメイン特化の事前学習モデルやファインチューニング済みのベースラインと比較する。
• 金融NLPタスクに影響を与える強み、限界、およびprompt戦略を特定する。
• 金融においてLLMsをいつ使用し、いつドメイン特化モデルをファインチューニングすべきかの具体的な指針を示す。

提案手法

• zero-shot、few-shot、Chain-of-Thoughtプロンプトで、gpt-3.5-turboおよびGPT-4（8kコンテキスト、FinQA実験の一部ではGPT-4 16k）を使用する。
• 感情分析、分類、NER、関係抽出、QAの5タスクカテゴリ、8つのデータセットで評価する。
• FinBert、FinQANet、BloombergGPTと比較し、NERのCRFやREのLuke-baseなどのベースラインも使用する。
• 標準的な評価指標を適用する：正解率、macro-F1、NERのmacro-F1、適用可能な場合はエンティティレベルF1。
• QAタスクではfew-shotとCoTプロンプトの影響を分析し、専門的なFinQANetバリアントと比較する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTとGPT-4は金融NLPベンチマークでドメイン特化のファインチューニング済みモデルを上回れるか？
• RQ2 prompt戦略（zero-shot、few-shot、Chain-of-Thought）は金融タスクの性能にどう影響するか？
• RQ3 金融のどのタスク（感情分析、分類、NER、RE、QA）が汎用LLMに適しており、どの領域でドメイン特化モデルが依然として優位か？
• RQ4 金融における構造化予測と数値推論における汎用LLMの限界は何か？

主な発見

• GPT-4は一般にほとんどのタスクとデータセットでChatGPTや多くのベースラインを上回る。
• Few-shot、特にChain-of-Thoughtプロンプトは性能を大幅に向上させ、QAタスクでは10〜30ポイント程度の向上を示すことがある。
• NERや一部の構造予測タスクでは、ドメイン適応モデル（例：BloombergGPT、FinQANet、Luke-base）が依然として汎用LLMを上回る。
• QAタスクではGPT-4は他のモデルを上回ることが多く、ファインチューニング基準のベースラインを超えることもあるが、プロフェッショナルレベルの精度（約90%）には未到達。
• 汎用LLMは複数のタスクでドメイン特化モデルを上回ることがあるが、その利点はタスク依存であり、金融NLP全般の課題で一様ではない。
• Prompting戦略（few-shot、CoT）は、金融NLPにLLMsを適用する際の第一選択手法として推奨される。