[논문 리뷰] Are ChatGPT and GPT-4 General-Purpose Solvers for Financial Text Analytics? A Study on Several Typical Tasks

Xianzhi Li, Chan, Samuel외 5명|arXiv (Cornell University)|2023. 05. 10.

Stock Market Forecasting Methods인용 수 15

한 줄 요약

본 논문은 ChatGPT와 GPT-4를 eight 금융 NLP 벤치마크에서 다섯 가지 작업 범주에 걸쳐 경험적으로 평가하고, 도메인 특화 모델 및 fine-tuned baselines와 비교하여 금융 분야에서의 강점과 한계를 평가한다.

ABSTRACT

The most recent large language models(LLMs) such as ChatGPT and GPT-4 have shown exceptional capabilities of generalist models, achieving state-of-the-art performance on a wide range of NLP tasks with little or no adaptation. How effective are such models in the financial domain? Understanding this basic question would have a significant impact on many downstream financial analytical tasks. In this paper, we conduct an empirical study and provide experimental evidences of their performance on a wide variety of financial text analytical problems, using eight benchmark datasets from five categories of tasks. We report both the strengths and limitations of the current models by comparing them to the state-of-the-art fine-tuned approaches and the recently released domain-specific pretrained models. We hope our study can help understand the capability of the existing models in the financial domain and facilitate further improvements.

연구 동기 및 목표

• 일반 목적 LLM(ChatGPT 및 GPT-4)의 금융 텍스트 분석 과제에 대한 효과를 평가한다.
• 도메인 특화 사전 학습 모델과 미세조정 baselines과 성능을 비교한다.
• 금융 NLP 과제에 영향을 미치는 강점, 한계 및 프롬프트 전략을 식별한다.
• 금융에서 LLM과 미세조정 도메인 모델을 언제 사용해야 하는지에 대한 실행 가능한 지침을 제공한다.

제안 방법

• gpt-3.5-turbo 및 GPT-4(8k 컨텍스트, 일부 FinQA 실험에서는 GPT-4 16k)를 제로샷, few-shot, 및 chain-of-thought prompting으로 사용.
• 감정 분석, 분류, NER, 관계 추출, QA의 다섯 가지 작업 범주에 걸쳐 여덟 개 데이터셋에서 평가한다.
• FinBert, FinQANet, BloombergGPT 등을 대상으로 비교하고, NER의 CRF, RE의 Luke-base와 같은 baselines도 포함한다.
• 적용 표준 평가 지표: 정확도, 매크로-F1, 매크로-F1(NER), 해당하는 경우 엔터티 수준 F1.
• QA 과제에서 few-shot 및 CoT prompting의 영향 분석 및 특화된 FinQANet 변형과의 비교.

실험 결과

연구 질문

• RQ1 ChatGPT 및 GPT-4가 금융 NLP 벤치마크에서 도메인 특화 미세조정 모델보다 더 나은 성능을 차지할 수 있는가?
• RQ2 프롬프트 전략(제로샷, 소샷, 체인 오브 thought)이 금융 과제의 성능에 어떤 영향을 미치는가?
• RQ3 금융의 어떤 과제(감정 분석, 분류, NER, RE, QA)가 일반 목적 LLM에 잘 맞고, 현장 도메인 모델이 여전히 지배적인가?
• RQ4 일반 목적 LLM이 금융의 구조적 예측 및 수치 추론에서 어떤 한계가 있는가?

주요 결과

• GPT-4가 일반적으로 대부분의 작업과 데이터셋에서 ChatGPT 및 많은 베이스라인을 능가한다.
• few-shot 및 특히 Chain-of-Thought prompting이 성능을 크게 향상시키며, 때로는 QA 과제에서 10–30 포인트의 증가를 가져온다.
• NER 및 일부 구조적 예측 과제에서 BloombergGPT, FinQANet, Luke-base와 같은 도메인 튜닝 모델이 일반 목적 LLM보다 여전히 우수할 수 있다.
• QA 과제에서 GPT-4는 종종 다른 모델을 능가하고 일부 미세조정 기준선을 능가하기도 하지만, 전문 수준의 정확도(약 90%)에는 미치지 못한다.
• 일반 목적 LLM은 여러 과제에서 도메인 특화 모델을 능가할 수 있지만, 그 이점은 과제에 따라 다르며 모든 금융 NLP 도전에 일관되게 적용되지는 않는다.
• 프롬프트 전략(소샷, CoT)은 LLM을 금융 NLP에 적용할 때 1차 방법으로 권장된다.