[논문 리뷰] Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

Jimin Huang, Mengxi Xiao외 42명|arXiv (Cornell University)|2024. 08. 20.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

Open-FinLLMs는 텍스트, 표, 시계열 데이터를 포함한 520억 토큰 규모의 금융 코퍼스를 사전학습하고, 지시 테이닝 및 다중모odal 정렬을 거쳐 금융 응용을 위한 오픈소스 다중모달 대규모 언어모델인 FinLLaMA, FinLLaMA-instruct, FinLLaVA를 제공한다. 이 모델들은 19개의 제로샷 및 4개의 희소샷 금융 벤치마크에서 최신 기술 수준의 성능을 기록하며, LLaMA3-8B, BloombergGPT, 심지어 GPT-4를 초월하는 성능을 보이며, 거래 시뮬레이션에서 높은 샤프 비율을 기록한다.

ABSTRACT

Financial LLMs hold promise for advancing financial tasks and domain-specific applications. However, they are limited by scarce corpora, weak multimodal capabilities, and narrow evaluations, making them less suited for real-world application. To address this, we introduce extit{Open-FinLLMs}, the first open-source multimodal financial LLMs designed to handle diverse tasks across text, tabular, time-series, and chart data, excelling in zero-shot, few-shot, and fine-tuning settings. The suite includes FinLLaMA, pre-trained on a comprehensive 52-billion-token corpus; FinLLaMA-Instruct, fine-tuned with 573K financial instructions; and FinLLaVA, enhanced with 1.43M multimodal tuning pairs for strong cross-modal reasoning. We comprehensively evaluate Open-FinLLMs across 14 financial tasks, 30 datasets, and 4 multimodal tasks in zero-shot, few-shot, and supervised fine-tuning settings, introducing two new multimodal evaluation datasets. Our results show that Open-FinLLMs outperforms afvanced financial and general LLMs such as GPT-4, across financial NLP, decision-making, and multi-modal tasks, highlighting their potential to tackle real-world challenges. To foster innovation and collaboration across academia and industry, we release all codes (https://anonymous.4open.science/r/PIXIU2-0D70/B1D7/LICENSE) and models under OSI-approved licenses.

연구 동기 및 목표

• 일반 목적의 LLM이 금융 응용 분야에서 종합적인 금융 지식과 다중모달 능력을 확보하지 못하는 문제를 해결하기 위해.
• 기존 금융 LLM이 사전학습 및 미세조정 과정에서 표 및 시계열 데이터를 충분히 활용하지 못하는 한계를 극복하기 위해.
• 거래 시뮬레이션을 포함한 다양한 금융 시나리오에서의 평가를 통해 일반화 능력과 실생활 적용 가능성을 향상시키기 위해.
• 연구 및 금융 및 AI 분야의 혁신을 가속화하기 위해 오픈소스, 지시 테이닝, 다중모달 금융 LLM을 제공하기 위해.

제안 방법

• 텍스트, 표, 시계열 데이터를 포함한 520억 토큰 규모의 금융 코퍼스를 기반으로 FinLLaMA를 사전학습하여 깊은 금융 지식을 통합하기 위해.
• 57만 3천 건의 금융 지시 페어를 활용해 FinLLaMA를 미세조정하여 FinLLaMA-instruct를 생성함으로써 제로샷 및 희소샷 금융 과제에서의 성능을 향상시키기 위해.
• 143만 건의 이미지-텍스트 지시 페어를 활용해 FinLLaVA를 훈련시켜 금융 차트, 표, 보고서의 다중모달 이해 능력을 향상시키기 위해.
• 단기, 중기, 장기 및 반성적 기억층에서의 인사이트를 검색하고 추론하는 메모리 증강형 에이전트(FinMem)에 모델들을 통합하여 거래 결정에 활용하기 위해.
• 금융 추론, 실체 인식, 감성 분석를 포함한 19개의 제로샷 및 4개의 희소샷 데이터셋에서 모델 성능을 평가하기 위해.
• TSLA, COIN, GOOG, NIO 등의 주식에서 누적 수익률 및 샤프 비율 지표를 사용해 거래 시뮬레이션을 수행하여 실생활 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 표와 시계열 데이터를 포함한 다양한 금융 코퍼스를 사전학습한 대규모 언어모델이 제로샷 및 희소샷 금융 추론 과제에서 일반 목적의 LLM보다 뛰어난 성능을 보일 수 있는가?
• RQ2 57만 3천 건의 금융 지시에 대한 지시 테이닝을 통해 기초 모델 대비 하류 금융 NLP 과제에서 성능 향상 수준은 어느 정도인가?
• RQ3 다중모달 LLM(FinLLaVA)이 단일모달 모델 대비 금융 차트와 표에 대해 얼마나 잘 이해하고 추론할 수 있는가?
• RQ4 메모리 증강형 추론 에이전트(FinMem)를 Open-FinLLMs에 통합하면 시뮬레이션 환경에서 뛰어난 거래 성능을 달성할 수 있는가?
• RQ5 Open-FinLLMs의 실생활 금융 성능은 여러 주식과 시간대에 걸쳐 누적 수익률 및 샤프 비율 측면에서 어떻게 평가되는가?

주요 결과

• FinLLaMA는 19개의 제로샷 및 4개의 희소샷 금융 벤치마크 데이터셋에서 LLaMA3-8B, LLaMA3.1-8B, BloombergGPT를 모두 초월한다.
• FinLLaMA-instruct는 평가된 15개의 금융 추론 및 분류 과제 중 15개에서 GPT-4 및 기타 금융 LLM을 뛰어넘는 성능을 보였다.
• FinLLaVA는 4개의 다중모달 금융 과제에서 표 및 차트 이해 능력에서 뛰어난 성능을 보이며 강력한 시각-언어 정렬 능력을 입증했다.
• 거래 시뮬레이션에서 FinLLaMA는 TSLA, COIN, NIO에서 높은 누적 수익률과 뛰어난 샤프 비율을 기록하며 베이스라인 모델과 Buy & Hold 전략을 모두 압도했다.
• Open-FinLLMs를 기반으로 한 FinMem 에이전트는 다양한 기억 계층의 인사이트를 추론 및 반성과 통합함으로써 일관되고 타당한 거래 결정을 생성한다.
• 모델들은 모멘타ム 기반 거래, 실적 기대치, 시장 감성 분석를 포함한 다양한 금융 시나리오에서 뛰어난 일반화 능력을 보였다.