[논문 리뷰] A Survey of Large Language Models in Finance (FinLLMs)

Jean Lee, Nicholas Stevens외 2명|arXiv (Cornell University)|2024. 02. 04.

Stock Market Forecasting Methods인용 수 14

한 줄 요약

이 리뷰는 일반 도메인 LLM에서 금융 도메인 FinPLMs 및 FinLLMs로의 진화를 추적하고, 기법을 비교하며 여섯 개의 벤치마크와 여덟 개의 고급 작업을 요약하고, FinLLMs의 기회와 도전에 대해 논의한다.

ABSTRACT

Large Language Models (LLMs) have shown remarkable capabilities across a wide variety of Natural Language Processing (NLP) tasks and have attracted attention from multiple domains, including financial services. Despite the extensive research into general-domain LLMs, and their immense potential in finance, Financial LLM (FinLLM) research remains limited. This survey provides a comprehensive overview of FinLLMs, including their history, techniques, performance, and opportunities and challenges. Firstly, we present a chronological overview of general-domain Pre-trained Language Models (PLMs) through to current FinLLMs, including the GPT-series, selected open-source LLMs, and financial LMs. Secondly, we compare five techniques used across financial PLMs and FinLLMs, including training methods, training data, and fine-tuning methods. Thirdly, we summarize the performance evaluations of six benchmark tasks and datasets. In addition, we provide eight advanced financial NLP tasks and datasets for developing more sophisticated FinLLMs. Finally, we discuss the opportunities and the challenges facing FinLLMs, such as hallucination, privacy, and efficiency. To support AI research in finance, we compile a collection of accessible datasets and evaluation benchmarks on GitHub.

연구 동기 및 목표

• 일반 도메인 PLM에서 금융 도메인 FinPLMs 및 FinLLMs로의 역사적 진행 경로를 도표로 제시한다.
• FinPLMs 및 FinLLMs에 사용되는 학습 및 파인튜닝 기법을 비교한다.
• 여러 금융 NLP 작업과 데이터셋에서 벤치마크 성능을 요약한다.
• 향후 FinLLM 개발을 안내하기 위해 고급 금융 NLP 작업 및 데이터세트를 소개한다.
• 실제 금융 애플리케이션에서 FinLLMs의 기회, 도전 및 실용적 고려사항을 논의한다.

제안 방법

• GPT 시리즈 및 오픈 소스 LLM에서 FinLLMs 및 금융 도메인 모델까지의 진화를 조사한다.
• 다섯 가지 기법을 네 개의 FinPLMs 및 네 개의 FinLLMs에 걸쳐 비교하되, 학습 데이터, 방법 및 지시 파인튜닝에 중점을 둔다.
• 여섯 개 벤치마크 작업 및 데이터세트에서의 성능을 요약하고 여덟 개의 고급 금융 NLP 작업 및 데이터세트를 개요한다.
• 향후 FinLLM 연구를 지원하기 위해 GitHub에서 접근 가능한 데이터세트와 벤치마크를 정리한다.
• 프라이버시, 효율성, 그리고 환각과 같은 실용적 고려사항을 FinLLMs에서 논의한다.

Figure 1 : Timeline showing the evolution of selected PLM/LLM releases from the general domain to the financial domain.

실험 결과

연구 질문

• RQ1 일반 도메인 LMs에서 FinLLMs로의 역사적 진행은 무엇이며 이러한 경로를 정의하는 모델은 무엇인가?
• RQ2 FinPLMs 및 FinLLMs를 특징짓는 학습, 데이터 및 파인튜닝 기법은 무엇인가?
• RQ3 FinPLMs 및 FinLLMs는 확립된 금융 NLP 벤치마크에서 어떻게 수행하며 고급 작업이 밝혀내는 차이는 무엇인가?
• RQ4 FinLLMs를 발전시키기 위해 존재하거나 필요한 데이터셋 및 벤치마크는 무엇이며, 향후 연구에 어떻게 활용될 수 있는가?

주요 결과

• 혼합 도메인 FinPLMs은 감성 분석, 텍스트 분류, NER 작업에서 강력한 성능을 보인다.
• 작업별 SOTA 모델은 QA, SMP, 요약 작업에서 FinLLMs보다 우수하여 이러한 영역에서 FinLLMs의 개선 여지가 있음을 시사한다.
• GPT-4는 요약을 제외한 대부분의 벤치마크에서 강력한 성능을 보이며, 요약에서는 작업별 모델이 우세하다.
• FinMA, InvestLM, FinGPT, 및 BloombergGPT는 라이선스, 데이터 소스, 아키텍처 선택(예: LLaMA 기반, BLOOM 스타일 등)의 스펙트럼을 보여준다.
• RAG 및 기타 검색 기반 접근법은 FinLLMs의 신뢰성과 프라이버시를 향상시킬 유망한 방향으로 강조된다.

Figure 2 : Comparison of techniques used in financial LMs: from FinPLMs to FinLLMs.