[논문 리뷰] Chinese Fine-Grained Financial Sentiment Analysis with Large Language Models

Yinyu Lan, Yanru Wu외 3명|arXiv (Cornell University)|2023. 06. 25.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 11,036편의 뉴스 기사, 8,739개의 기업, 190종의 경고 유형, 21,272개의 감성 태깅을 포함하는 대규모 중국어 세분화된 금융 감성 분석 데이터셋인 FinChina SA를 소개한다. 지침 기반 및 대화 기반 미세조정을 통해 오픈소스 LLM을 평가한 결과, 중국어 LLaMA Plus가 감성 분류에서 75.99%의 정확도를 기록하여 BLOOMZ와 ChatGLM와 같은 모델들을 능가했으며, 일반 도메인 지식이 제한된 점을 감안할 때 ChatGPT는 제로샷 설정에서 성능이 열등했다.

ABSTRACT

Entity-level fine-grained sentiment analysis in the financial domain is a crucial subtask of sentiment analysis and currently faces numerous challenges. The primary challenge stems from the lack of high-quality and large-scale annotated corpora specifically designed for financial text sentiment analysis, which in turn limits the availability of data necessary for developing effective text processing techniques. Recent advancements in large language models (LLMs) have yielded remarkable performance in natural language processing tasks, primarily centered around language pattern matching. In this paper, we propose a novel and extensive Chinese fine-grained financial sentiment analysis dataset, FinChina SA, for enterprise early warning. We thoroughly evaluate and experiment with well-known existing open-source LLMs using our dataset. We firmly believe that our dataset will serve as a valuable resource to advance the exploration of real-world financial sentiment analysis tasks, which should be the focus of future research. The FinChina SA dataset is publicly available at https://github.com/YerayL/FinChina-SA

연구 동기 및 목표

• 중국어 금융 감성 분석을 위한 고품질, 대규모 애너테이션 코퍼스 부족 문제를 해결하기 위해.
• 금융 도메인에서 엔티티 수준의 세분화된 감성 분석을 위한 벤치마크 데이터셋을 개발하기 위해.
• 오픈소스 LLM과 ChatGPT가 제로샷 및 미세조정 설정에서 금융 감성 작업에 얼마나 효과적인지 평가하기 위해.
• 지침 기반 및 대화 기반 미세조정의 금융 NLP에 대한 가능성과 성능을 조사하기 위해.
• 일반 목적 LLM인 ChatGPT가 도메인 특화 금융 감성 이해에서 가지는 한계를 규명하기 위해.

제안 방법

• 주요 중국 금융 웹사이트에서 금융 뉴스를 크롤링하고 정제하여 FinChina SA 데이터셋을 구축하였다.
• 각 기사에 기업명, 감성 극성, 경고 유형을 태깅하여 총 21,272개의 감성 예측 예제를 확보하였다.
• 단일 턴 QA 형식을 사용한 지침 기반 미세조정과 다중 턴 대화 템플릿을 활용한 대화 기반 미세조정을 통해 오픈소스 LLM을 미세조정하였다.
• ChatGPT를 사용한 제로샷 프롬프팅을 통해 감성 분류 및 경고 유형 탐지 작업에서 성능을 평가하고 비교하였다.
• 메모리 사용량을 줄이기 위해 P-tuning v2와 같은 효율적인 파라미터 조정 기법을 적용하였지만, 정확도에 약간의 손실가능성이 있었다.
• 다중 턴 QA 미세조정에서 턴 기반 프롬프팅 전략을 적용하여 이전 입력에 모델의 응답을 추가하여 다음 라운드에 활용하였다.

실험 결과

연구 질문

• RQ1 오픈소스 LLM은 중국어 세분화된 금융 감성 분석에서 제로샷 및 미세조정 설정에서 얼마나 효과적인가?
• RQ2 지침 기반 및 대화 기반 미세조정은 금융 감성 분류 작업 성능 향상에 기여하는가?
• RQ3 일반 NLP 능력이 뛰어난 점을 감안할 때, 왜 ChatGPT는 금융 감성 분석에서 성능이 열등한가?
• RQ4 도메인 특화 사전학습이 금융 텍스트 이해에서 LLM 성능 향상에 얼마나 기여하는가?
• RQ5 단일 턴 데이터를 다중 턴 대화 형식으로 변환하면 금융 감성 작업에서 모델 성능 향상이 이루어지는가?

주요 결과

• 중국어 LLaMA Plus가 감성 분류 정확도 75.99%로 가장 높은 성능을 기록하였으며, BLOOMZ(75.52)와 ChatGLM(74.46)를 모두 능가했다.
• ChatGPT는 제로샷 설정에서 성능이 열악하여 금융 도메인 특화 표현 및 감성 지식에 대한 이해가 제한되어 있음을 시사했다.
• 미세조정된 LLM은 Longformer 모델보다 뚜렷이 뛰어난 성능을 보였으며, 금융 NLP 작업에 효과적인 전이 학습이 가능함을 입증했다.
• 템플릿 변환된 다중 턴 대화 데이터를 활용한 대화 기반 미세조정은 반복적이고 오류가 많은 출력을 유도하여, 이 작업에 있어서 지침 기반 미세조정보다는 성능이 열 劣하다는 점을 시사했다.
• P-tuning v2는 메모리 사용량을 줄였지만 정확도에 다소의 하락을 초래하여 효율성과 성능 사이의 상충 관계를 보였다.
• FinChina SA 데이터셋은 https://github.com/YerayL/FinChina-SA 에 공개되어 있으며, 향후 금융 감성 분석 연구를 위한 유의미한 벤치마크 자원으로 기여할 수 있다.