[논문 리뷰] FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models

Gagan Bhatia, El Moatez Billah Nagoudi외 2명|arXiv (Cornell University)|2024. 02. 16.

Stock Market Forecasting MethodsDecision Sciences인용 수 3

한 줄 요약

FinTral은 Mistral-7b 기반으로 구축된 다중모달 금융 LLM의 일족으로, 도메인 특화 사전학습, 지시 테이닝, 그리고 GPT-4가 생성한 피드백을 활용한 직접적 선호도 최적화(DPO)를 통해 향상되었다. 그 최고의 변종인 FinTral-DPO-T&R는 9개 금융 과제 중 5개에서 GPT-4 수준의 성능을 달성했으며, 모든 과제에서 제로샷 평가에서 ChatGPT-3.5와 GPT-4를 모두 능가하여 최신의 다중모달 금융 추론 능력을 입증한다.

ABSTRACT

We introduce FinTral, a suite of state-of-the-art multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis. FinTral integrates textual, numerical, tabular, and image data. We enhance FinTral with domain-specific pretraining, instruction fine-tuning, and RLAIF training by exploiting a large collection of textual and visual datasets we curate for this work. We also introduce an extensive benchmark featuring nine tasks and 25 datasets for evaluation, including hallucinations in the financial domain. Our FinTral model trained with direct preference optimization employing advanced Tools and Retrieval methods, dubbed FinTral-DPO-T&R, demonstrates an exceptional zero-shot performance. It outperforms ChatGPT-3.5 in all tasks and surpasses GPT-4 in five out of nine tasks, marking a significant advancement in AI-driven financial technology. We also demonstrate that FinTral has the potential to excel in real-time analysis and decision-making in diverse financial contexts. The GitHub repository for FinTral is available at \url{https://github.com/UBC-NLP/fintral}.

연구 동기 및 목표

• 기존 LLM이 수치 추론, 도메인 전용 용어, 금융 맥락에서의 환각 현상 등에 어려움을 겪는 데서 비롯되는 한계를 해결하기 위해.
• 텍스트, 수치, 표, 시각적 금융 데이터를 동시에 처리할 수 있는 다중모달 LLM을 개발하여 종합적인 문서 이해 능력을 갖추기 위해.
• 홀로우제이션 탐지 기능을 포함한 25개 데이터셋과 9개 과제를 포함한 대규모 종합 벤치마크인 FinSet을 구축하여 금융 LLM의 성능을 평가하기 위해.
• 고도로 정렬된 프로세스와 검색 기반 프롬프팅을 통해 더 작은 도메인 적응형 LLM이 GPT-4와 같은 큰 모델을 초월할 수 있음을 입증하기 위해.

제안 방법

• FinTral은 정제된 금융 텍스트 및 시각 데이터를 대상으로 도메인 특화 사전학습을 통해 최적화된 Mistral-7b 아키텍처를 기반으로 구축된다.
• 지시 테이닝은 금융 과제(예: 감성 분석, 개체 인식, 금융 추론 등)에 특화된 대규모 정제된 지시 데이터셋을 사용하여 적용된다.
• 직접적 선호도 최적화(DPO)는 인간 피드백을 통한 강화학습(RLHF) 없이도 GPT-4가 생성한 응답과의 일치를 향상시키기 위해 사용된다.
• 모델은 추론 중 외부 지식에 동적으로 액세스할 수 있도록 검색 및 도구 기반 프롬프팅(T&R) 기능을 통합하여 향상된다.
• 시각적 능력은 CLIP 시각 인코더를 통해 추가되어, 이미지 또는 차트를 포함한 금융 문서의 다중모달 이해를 위한 FinTralVL을 구축한다.
• 25개 데이터셋과 9개 과제(홀로우제이션 탐지 포함)를 포함한 광범위한 벤치마크인 FinSet이 구축되어 모델 성능을 철저히 평가하기 위해 사용된다.

Figure 1: Comparative Performance Analysis on text-based tasks of Key Financial AI Models. We compare three variations of FinTral with ChatGPT (GPT-3.5) and GPT-4 across seven task clusters: Sentiment Analysis (SA), Named Entity Recognition (NER), Number Understanding (NU), Text Summarization (TS),

실험 결과

연구 질문

• RQ1 더 작은 도메인 적응형 LLM이 금융 추론 과제에서 GPT-4 수준의 성능을 달성할 수 있는가?
• RQ2 전통적인 RLHF에 비해 DPO 기반 정렬이 금융 LLM의 제로샷 성능 향상에 얼마나 기여하는가?
• RQ3 검색 및 도구 보강 기능이 LLM의 금융 추론 능력을 향상시키는 데 얼마나 효과적인가?
• RQ4 다중모달 LLM이 동시에 텍스트, 수치, 표, 시각적 금융 데이터를 효과적으로 처리하고 추론할 수 있는가?
• RQ5 금융 LLM이 복잡한 금융 맥락에서 환각을 탐지하고 회피하는 데 얼마나 잘 수행되는가?

주요 결과

• FinTral-DPO-T&R는 FinSet 벤치마크에서 평가된 9개 과제 전부에서 ChatGPT-3.5를 능가하여 뛰어난 제로샷 일반화 능력을 입증한다.
• 감성 분석, 명명된 개체 인식, 수치 이해 등 텍스트 기반 금융 과제 9개 중 5개에서 GPT-4를 초월한다.
• GPT-4보다 훨씬 작음에도 불구하고, FinTral-DPO는 평가된 모든 금융 과제에서 최고 수준의 성능을 기록한다.
• 검색 및 도구 기반 프롬프팅(T&R)의 통합은 특히 복잡한 금융 추론 과제에서 추론 능력과 사실 일관성을 크게 향상시킨다.
• 사용된 벤치마크인 FinSet은 현재까지 가장 크고 종합적인 금융 평가 세트이며, 25개의 다양한 데이터셋에서 홀로우제이션을 유일하게 측정한다.
• 모델는 강력한 다중모달 능력을 보이며, 종합적인 금융 문서 이해를 위해 텍스트, 수치, 표, 시각적 입력을 효과적으로 통합한다.

Figure 2 : FinSET, a Financial Training and Evaluation Benchmark.