[论文解读] FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis

Ziao Wang, Yuhang Li+3 more|arXiv (Cornell University)|Jul 31, 2023

Topic Modeling被引用 5

一句话总结

FinVis-GPT 是一种在专有金融图表数据集上微调的多模态大语言模型，旨在提升金融图表分析能力。通过指令微调和多模态对齐，它在描述生成、问答和趋势预测任务中优于最先进模型，展现出更高的准确性和相关性。

ABSTRACT

In this paper, we propose FinVis-GPT, a novel multimodal large language model (LLM) specifically designed for financial chart analysis. By leveraging the power of LLMs and incorporating instruction tuning and multimodal capabilities, FinVis-GPT is capable of interpreting financial charts and providing valuable analysis. To train FinVis-GPT, a financial task oriented dataset was generated for pre-training alignment and instruction tuning, comprising various types of financial charts and their corresponding descriptions. We evaluate the model performance via several case studies due to the time limit, and the promising results demonstrated that FinVis-GPT is superior in various financial chart related tasks, including generating descriptions, answering questions and predicting future market trends, surpassing existing state-of-the-art multimodal LLMs. The proposed FinVis-GPT serves as a pioneering effort in utilizing multimodal LLMs in the finance domain and our generated dataset will be release for public use in the near future to speedup related research.

研究动机与目标

• 开发一种专用于金融图表解读的多模态大语言模型。
• 解决金融图表分析模型训练中缺乏领域特定数据集的问题。
• 通过在金融视觉数据上进行指令微调，提升大语言模型生成的金融洞察的准确性和相关性。
• 使模型能够理解金融图表中的复杂视觉模式，并生成类人、上下文准确的分析。
• 通过公开发布一个精心筛选的金融图表数据集，为人工智能驱动的金融分析奠定基础。

提出的方法

• 采用两阶段训练流程对现有大语言模型进行微调：预训练对齐与指令微调。
• 构建了一个面向金融任务的数据集，包含多样化的金融图表及其描述性注释，用于预训练对齐。
• 创建第二个数据集，将金融图表图像与具体指令或问题配对，用于指令微调。
• 利用冻结的视觉编码器从金融图表中提取特征，并通过投影层将这些特征与文本表示对齐。
• 采用冻结的大语言模型主干网络，以保留通用语言理解能力，同时适应金融多模态输入。
• 应用参数高效的微调技术，在无需完整微调的情况下，使基础模型适配金融图表分析任务。

Figure 1: The designed process to generate multimodal dataset.

实验结果

研究问题

• RQ1 多模态大语言模型能否被有效微调，以生成准确且上下文相关的金融图表描述？
• RQ2 多模态大语言模型在基于视觉图表数据的基础上，理解并回答复杂金融问题的能力在多大程度上得到体现？
• RQ3 与现有模型相比，多模态大语言模型能否可靠地从历史金融图表模式中预测未来市场趋势？
• RQ4 在特定领域金融图表数据上进行指令微调，如何提升模型在金融推理任务中的表现？
• RQ5 精心筛选并公开发布的金融图表数据集对推动金融人工智能研究有何影响？

主要发现

• FinVis-GPT 在生成金融图表准确且简洁的描述方面，优于 LLaVA、MiniGPT-4 和 mPLUG-Owl。
• 在问答任务中，FinVis-GPT 提供了最准确且相关性最高的回答，而基线模型常错误识别图表元素或产生幻觉内容。
• FinVis-GPT 展现出更优的趋势预测能力，在其他模型错误预测下行走势时，能正确识别出市场呈上升趋势。
• 该模型的预测不仅准确，还附带连贯的文本解释，增强了可解释性。
• 案例研究显示，FinVis-GPT 在所有评估任务中均显著减少了幻觉现象，并保持了事实一致性。
• 模型性能的提升归因于领域特定指令微调与高质量金融图表数据的结合。

Figure 2: The model architecture.