[논문 리뷰] FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis

Ziao Wang, Yuhang Li외 3명|arXiv (Cornell University)|2023. 07. 31.

Topic Modeling인용 수 5

한 줄 요약

FinVis-GPT는 기업의 금융 차트 데이터셋을 토대로 미세조정된 다중모달 대규모 언어 모델로, 금융 차트 분석 능력을 향상시킨다. 지시 미세조정과 다중모달 일치를 활용하여 기술 설명 생성, 질의 응답, 추세 예측 등에서 최신 기술 모델들을 능가하며, 금융 해석 작업에서 뛰어난 정확성과 관련성을 입증한다.

ABSTRACT

In this paper, we propose FinVis-GPT, a novel multimodal large language model (LLM) specifically designed for financial chart analysis. By leveraging the power of LLMs and incorporating instruction tuning and multimodal capabilities, FinVis-GPT is capable of interpreting financial charts and providing valuable analysis. To train FinVis-GPT, a financial task oriented dataset was generated for pre-training alignment and instruction tuning, comprising various types of financial charts and their corresponding descriptions. We evaluate the model performance via several case studies due to the time limit, and the promising results demonstrated that FinVis-GPT is superior in various financial chart related tasks, including generating descriptions, answering questions and predicting future market trends, surpassing existing state-of-the-art multimodal LLMs. The proposed FinVis-GPT serves as a pioneering effort in utilizing multimodal LLMs in the finance domain and our generated dataset will be release for public use in the near future to speedup related research.

연구 동기 및 목표

• 금융 차트 해석을 위해 특화된 다중모달 대규모 언어 모델을 개발하는 것.
• 금융 차트 분석 모델을 훈련하기 위한 도메인 특화 데이터셋의 부족을 해결하는 것.
• 금융 시각 자료에 대한 지시 미세조정을 통해 LLM이 생성하는 금융 통찰의 정확성과 관련성을 향상시키는 것.
• 모델이 금융 차트의 복잡한 시각적 패턴을 이해하고 인간처럼 맥락에 맞는 정확한 분석을 생성할 수 있도록 하는 것.
• 공개용으로 제공된 정제된 금융 차트 데이터셋을 통해 AI 기반 금융 분석의 기반을 마련하는 것.

제안 방법

• 기존의 대규모 언어 모델을 이중 단계 훈련 과정(사전 훈련 일치 및 지시 미세조정)을 사용하여 미세조정하는 것.
• 사전 훈련 일치를 위해 다양한 금융 차트와 기술적 설명 애너테이션을 포함한 금융 작업 중심 데이터셋을 구축하는 것.
• 지시 미세조정을 위해 금융 차트 이미지와 특정 지시 또는 질문을 쌍으로 묶은 두 번째 데이터셋을 생성하는 것.
• 고정된 시각 인코더를 활용해 금융 차트에서 특징을 추출하고, 이를 투영층을 통해 텍스트 표현과 일치시키는 것.
• 일반 언어 이해 능력을 유지하면서 금융 다중모달 입력에 적응하기 위해 고정된 LLM 기반 모델을 사용하는 것.
• 기본 모델을 금융 차트 분석에 맞게 전체 재학습 없이도 적응시킬 수 있도록 파rameter 효율적인 미세조정 기법을 적용하는 것.

Figure 1: The designed process to generate multimodal dataset.

실험 결과

연구 질문

• RQ1 다중모달 LLM은 금융 차트에 대한 정확하고 맥락에 맞는 기술 설명을 효과적으로 생성할 수 있는가?
• RQ2 다중모달 LLM은 시각적 차트 데이터를 바탕으로 복잡한 금융 질문을 얼마나 잘 이해하고 응답할 수 있는가?
• RQ3 기존 모델들과 비교해 복잡한 역사적 금융 차트 패턴에서 향후 시장 추세를 신뢰할 수 있게 예측할 수 있는가?
• RQ4 도메인 특화 금융 차트 데이터에 대한 지시 미세조정은 금융 추론 작업에서 모델 성능을 어떻게 향상시키는가?
• RQ5 정제된 공개 금융 차트 데이터셋은 금융 AI 분야의 연구 발전에 어떤 영향을 미치는가?

주요 결과

• FinVis-GPT는 LLaVA, MiniGPT-4, mPLUG-Owl보다 금융 차트에 대한 정확하고 간결한 기술 설명 생성에서 뛰어난 성능을 보였다.
• 질의 응답 작업에서는 FinVis-GPT가 가장 정확하고 관련성이 높은 응답을 제공했고, 기준 모델들은 자주 차트 요소를 잘못 식별하거나 환상적인 내용을 생성했다.
• FinVis-GPT는 향후 시장 상승 추세를 정확히 식별하는 데 뛰어난 추세 예측 능력을 보였으며, 다른 모델들은 잘못된 하락 추세를 예측했다.
• 모델의 예측 결과는 정확할 뿐 아니라 일관된 텍스트 설명을 동반하여 해석 가능성까지 향상시켰다.
• 사례 연구를 통해 FinVis-GPT는 모든 평가 작업에서 환상적 내용을 최소화하고 사실 일관성을 유지했다.
• 모델의 성능 향상 요인은 도메인 특화 지시 미세조정과 고품질 금융 차트 데이터의 조합에 기인했다.

Figure 2: The model architecture.