[논문 리뷰] A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges

Yuqi Nie, Yaxuan Kong외 5명|arXiv (Cornell University)|2024. 06. 15.

Stock Market Forecasting Methods인용 수 29

한 줄 요약

대형 언어 모델이 금융에서 어떻게 적용되는지에 대한 포괄적 조사로, 모델 유형, 적용 분야, 데이터셋, 벤치마크, 주요 도전과 기회를 다룹니다.

ABSTRACT

Recent advances in large language models (LLMs) have unlocked novel opportunities for machine learning applications in the financial domain. These models have demonstrated remarkable capabilities in understanding context, processing vast amounts of data, and generating human-preferred contents. In this survey, we explore the application of LLMs on various financial tasks, focusing on their potential to transform traditional practices and drive innovation. We provide a discussion of the progress and advantages of LLMs in financial contexts, analyzing their advanced technologies as well as prospective capabilities in contextual understanding, transfer learning flexibility, complex emotion detection, etc. We then highlight this survey for categorizing the existing literature into key application areas, including linguistic tasks, sentiment analysis, financial time series, financial reasoning, agent-based modeling, and other applications. For each application area, we delve into specific methodologies, such as textual analysis, knowledge-based analysis, forecasting, data augmentation, planning, decision support, and simulations. Furthermore, a comprehensive collection of datasets, model assets, and useful codes associated with mainstream applications are presented as resources for the researchers and practitioners. Finally, we outline the challenges and opportunities for future research, particularly emphasizing a number of distinctive aspects in this field. We hope our work can help facilitate the adoption and further development of LLMs in the financial sector.

연구 동기 및 목표

• 연구자와 실무자에게 금융 LLM 응용의 포괄적 관점과 실무적 함의 제공.
• 아키텍처, 사전 학습, 미세 조정, 맞춤화 전략을 포함하여 금융 도메인 LLM을 카탈로그화.
• 금융 LLM 연구에 사용 가능한 데이터셋, 벤치마크, 코드 자원을 요약.
• 데이터 품질, 벤치마킹, 윤리, 해석 가능성 등 금융의 고유한 도전에 대해 식별하고 향후 방향 제시.

제안 방법

• 금융 도메인 LLM과 그 미세 조정 전략을 분류하고 분석.
• 응용 분야를 검토: 언어 작업, 감정 분석, 시계열 분석, 재무 추론, 에이전트 기반 모델링.
• 금융 LLM에 사용 가능한 데이터셋, 벤치마크, 코드 요약.
• 데이터 품질, 윤리 및 안전을 포함한 금융 특유의 도전과 기회에 대해 논의.

실험 결과

연구 질문

• RQ1 금융에서 사용되는 지배적인 LLM 아키텍처와 미세 조정 접근 방식은 무엇인가?
• RQ2 금융에서 언어 과제, 감정, 시계열, 추론, 에이전트 기반 모델링에서 LLM이 어떻게 적용되는가?
• RQ3 금융 LLM 연구를 지원하는 데이터셋, 벤치마크, 코드 자원은 무엇인가?
• RQ4 금융 부문에 LLM을 배치할 때의 주요 도전 과제와 미해결 기회는 무엇인가?

주요 결과

• 금융 도메인 LLM은 GPT, BERT/RoBERTa, T5, ELECTRA, BLOOM 및 Llama 계열에서 파생된 전문화된 변형을 포함하며, 도메인 특화 적응이 이루어져 있다.
• 응용 분야는 언어 작업, 감정 분석, 금융 시계열, 금융 추론, 에이전트 기반 모델링에 걸치며, 방법론으로는 텍스트 분석, 예측, 계획, 시뮬레이션 등이 있다.
• 연구 개발을 지원하기 위해 금융에 특화된 데이터셋, 벤치마크, 오픈 코드 자원이 증가하고 있다.
• 주요 도전 과제로는 데이터 품질, 백테스팅 편향, 해석 가능성, 법적 및 윤리 고려, 확장성, 프라이버시 문제가 있다.