[논문 리뷰] A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis

Sorouralsadat Fatemi, Yuheng Hu|arXiv (Cornell University)|2023. 12. 14.

Stock Market Forecasting Methods인용 수 8

한 줄 요약

이 논문은 재무 감성 분석을 위해 소형 LLM(250M–3B 파라미터)의 미세조정과 제로/퍼스트-shot in-context 학습을 비교하고, 미세조정된 모델이 더 적은 계산으로 최첨단 성능에 도달할 수 있는 반면, 제로-/원샷 결과는 데이터셋과 모델마다 차이가 있다.

ABSTRACT

Financial sentiment analysis plays a crucial role in uncovering latent patterns and detecting emerging trends, enabling individuals to make well-informed decisions that may yield substantial advantages within the constantly changing realm of finance. Recently, Large Language Models (LLMs) have demonstrated their effectiveness in diverse domains, showcasing remarkable capabilities even in zero-shot and few-shot in-context learning for various Natural Language Processing (NLP) tasks. Nevertheless, their potential and applicability in the context of financial sentiment analysis have not been thoroughly explored yet. To bridge this gap, we employ two approaches: in-context learning (with a focus on gpt-3.5-turbo model) and fine-tuning LLMs on a finance-domain dataset. Given the computational costs associated with fine-tuning LLMs with large parameter sizes, our focus lies on smaller LLMs, spanning from 250M to 3B parameters for fine-tuning. We then compare the performances with state-of-the-art results to evaluate their effectiveness in the finance-domain. Our results demonstrate that fine-tuned smaller LLMs can achieve comparable performance to state-of-the-art fine-tuned LLMs, even with models having fewer parameters and a smaller training dataset. Additionally, the zero-shot and one-shot performance of LLMs produces comparable results with fine-tuned smaller LLMs and state-of-the-art outcomes. Furthermore, our analysis demonstrates that there is no observed enhancement in performance for finance-domain sentiment analysis when the number of shots for in-context learning is increased.

연구 동기 및 목표

• LLM을 사용한 금융 감성 분석에서 제로샷 및 few-shot 학습의 효과를 조사한다.
• 금융 도메인 데이터에서 작은 LLM들(Flan-T5 시리즈)의 미세조정을 평가한다.
• 정확도와 계산 비용의 트레이드를 평가하기 위해 결과를 최첨단 모델(FinBERT, Instruct-FinGPT)과 비교한다.

제안 방법

• Flan-T5 Base/Large/XL와 gpt-3.5-turbo (ChatGPT)를 사용한 제로샷 및 소수-shot 설정을 연구한다.
• Finance 데이터(Twitter Financial News Sentiment)에 대해 4-bit 양자화를 사용하는 QLoRA로 Flan-T5 모델을 3 에폭에 걸쳐 미세조정한다.
• FPB 및 TFSN 데이터세트에서 FinBert 및 Instruct-FinGPT과 제로-/소수-shot 결과를 비교한다.
• 레이블 설명이 있는 프롬프트와 없는 프롬프트를 사용하여 프롬프트 설계의 영향을 평가한다.
• 감성 레이블(Positive, Negative, Neutral)에 대한 정확도와 F1-macro를 보고한다.
• 단일 A100 GPU에서의 훈련 효율성과 메모리 사용량을 평가한다.

실험 결과

연구 질문

• RQ1 제로샷 및 원샷/소수-shot LLM 컨텍스트 학습 성능이 미세조정된 소형 LLM에 비해 금융 감성 분석에서 어떻게 비교되는가?
• RQ2 작은 LLM들(250M–3B 파라미터)의 미세조정이 계산 자원을 줄이면서 최첨단 모델과 유사한 결과를 얻을 수 있는가?
• RQ3 모델 크기와 프롬프트 설계가 금융 특화 감성 작업에서 제로샷/소수-shot 성능에 어떠한 영향을 미치는가?
• RQ4 FPB와 TFSN 데이터셋이 제로-/소수-shot 대비 미세조정 성능에서 일관된 경향을 보이는가?

주요 결과

• 미세조정된 Flan-T5 모델은 최첨단 미세조정 LLM과 비교할 만한 성능을 훨씬 적은 계산 자원으로 달성한다.
• ChatGPT의 제로샷 성능은 TFSN에서 약 82%에 도달하지만 인-컨텍스트 미세조정 모델보다 낮게 남고, FPB는 제로샷 성능이 미세조정된 Flan-T5 모델에 더 가깝다.
• 제로샷 결과는 FPB에서 더 큰 모델에서 개선되며, FPB는 프롬프트 구조에 대한 민감도가 TFSN보다 낮다.
• 원샷 프롬프트는 보통 대부분의 모델에서 성능을 향상시키지만, 다섯샷 및 열샷 설정은 데이터셋과 모델에 따라 이득이 일관되게 나타나지 않는다.
• Flan-T5 미세조정은 재무 데이터에서 QLoRA를 사용할 때 수렴 속도가 빠르고 메모리 사용량이 낮아(단일 A100에서 학습) 더 큰 다중 GPU 구성보다 효율적이다.
• FPB 데이터셋은 일부 작은 모델에서 제로-/원샷 성능을 선호하는 반면, TFSN은 미세조정 접근을 선호하는 경향이 있어 감성 태스크에서 데이터셋 특유의 역학을 강조한다.