[論文レビュー] Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

Jimin Huang, Mengxi Xiao+42 more|arXiv (Cornell University)|Aug 20, 2024

Stock Market Forecasting Methods被引用数 4

ひとこと要約

Open-FinLLMsは、テキスト、テーブル、時系列データを含む520億トークンの財務コーパスを事前学習し、その後インstructチューニングとマルチモーダルな整合性をとることで、財務用途向けに設計されたオープンソースでマルチモーダルな大規模言語モデル（FinLLaMA、FinLLaMA-instruct、FinLLaVA）のスイートを提供する。これらのモデルは、19のゼロショットおよび4のフェイントショット財務ベンチマークで最先端のパフォーマンスを達成し、LLaMA3-8B、BloombergGPT、さらにはGPT-4をも凌駆する。特に、トレーディングシミュレーションにおいて高いシャープレシオを達成している。

ABSTRACT

Financial LLMs hold promise for advancing financial tasks and domain-specific applications. However, they are limited by scarce corpora, weak multimodal capabilities, and narrow evaluations, making them less suited for real-world application. To address this, we introduce extit{Open-FinLLMs}, the first open-source multimodal financial LLMs designed to handle diverse tasks across text, tabular, time-series, and chart data, excelling in zero-shot, few-shot, and fine-tuning settings. The suite includes FinLLaMA, pre-trained on a comprehensive 52-billion-token corpus; FinLLaMA-Instruct, fine-tuned with 573K financial instructions; and FinLLaVA, enhanced with 1.43M multimodal tuning pairs for strong cross-modal reasoning. We comprehensively evaluate Open-FinLLMs across 14 financial tasks, 30 datasets, and 4 multimodal tasks in zero-shot, few-shot, and supervised fine-tuning settings, introducing two new multimodal evaluation datasets. Our results show that Open-FinLLMs outperforms afvanced financial and general LLMs such as GPT-4, across financial NLP, decision-making, and multi-modal tasks, highlighting their potential to tackle real-world challenges. To foster innovation and collaboration across academia and industry, we release all codes (https://anonymous.4open.science/r/PIXIU2-0D70/B1D7/LICENSE) and models under OSI-approved licenses.

研究の動機と目的

• 一般向けLLMが財務用途において包括的な財務知識とマルチモーダル能力を欠いているという問題に対処すること。
• 既存の財務LLMが事前学習および微調整段階でテーブルや時系列データを十分に活用していないという制限を克服すること。
• トレーディングシミュレーションを含む多様な財務シナリオでの評価を通じて、一般化能力と実世界への適用性を向上させること。
• 研究とイノベーションを促進するため、オープンソースでインstructチューニング済みかつマルチモーダルな財務LLMを提供すること。

提案手法

• テキスト、テーブル、時系列データを含む520億トークンの財務コーパスを用いて、深いつながりのある財務知識を埋め込むためにFinLLaMAを事前学習する。
• 57万3千件の財務インstructペアを用いてFinLLaMAを微調整し、FinLLaMA-instructを構築することで、財務タスクにおけるゼロショットおよびフェイントショットパフォーマンスを向上させる。
• 160万件の画像-テキストインstructペアを用いてFinLLaVAを学習し、財務チャート、テーブル、レポートのマルチモーダル理解を可能にする。
• メモリ拡張型エージェント（FinMem）にモデルを統合し、短期的・中期的・長期的およびリフレクション用のインサイトを取得・推論することで、トレーディング意思決定を支援する。
• 財務推論、エンティティ認識、センチメント分析を含む19のゼロショットおよび4のフェイントショットデータセットを用いて、モデルの評価を実施する。
• 累積リターンおよびシャープレシオという指標を用いて、TSLA、COIN、GOOG、NIOなどの株式においてトレーディングシミュレーションを実施し、実世界のパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 テキスト、テーブル、時系列データを含む多様な財務コーパスを事前学習した大規模言語モデルが、ゼロショットおよびフェイントショット財務推論タスクにおいて一般向けLLMを上回る性能を示せるか？
• RQ2 57万3千件の財務インstructペアを用いたインstruct微調整が、ベースモデルと比較して、下流の財務NLPタスクにおけるパフォーマンスをどの程度向上させるか？
• RQ3 マルチモーダルLLM（FinLLaVA）が、単一モーダルモデルと比較して、財務チャートやテーブルの理解と推論においてどの程度優れた性能を示すか？
• RQ4 メモリ拡張型推論エージェント（FinMem）をOpen-FinLLMsと統合することで、シミュレーテッド環境における優れたトレーディングパフォーマンスが達成できるか？
• RQ5 Open-FinLLMsの実世界における財務パフォーマンスは、複数の株式および時間軸において累積リターンおよびシャープレシオという観点でどの程度の水準にあるか？

主な発見

• FinLLaMAは、19のゼロショットおよび4のフェイントショット財務ベンチマークデータセットにおいて、LLaMA3-8B、LLaMA3.1-8B、BloombergGPTをすべて上回るパフォーマンスを発揮した。
• FinLLaMA-instructは、評価された15の財務推論および分類タスクのうち15すべてでGPT-4や他の財務LLMを上回った。
• FinLLaVAは、4つのマルチモーダル財務タスクにおいて、テーブルやチャートの理解で優れたパフォーマンスを示し、優れた視覚的・言語的整合性を示している。
• トレーディングシミュレーションにおいて、FinLLaMAはTSLA、COIN、NIOで高い累積リターンと強いシャープレシオを達成し、ベースラインモデルおよびBuy & Hold戦略を上回った。
• FinMemエージェントは、Open-FinLLMsを基盤とすることで、複数のメモリレイヤーからのインサイトを推論とリフレクションと統合し、一貫性があり妥当な根拠を提示したトレーディング意思決定を生成した。
• モデルは、モメンタム取引、決算予想、市場センチメント分析を含む多様な財務シナリオにおいて、強固な一般化能力を示した。