[論文レビュー] FinGPT: Open-Source Financial Large Language Models

Hongyang Yang, Xiaoyang Liu+1 more|arXiv (Cornell University)|Jun 9, 2023

FinTech, Crowdfunding, Digital Finance被引用数 23

ひとこと要約

FinGPTは、金融LLMのためのオープンソースでデータ中心のフレームワークを提示し、実時データ上でのライトウェイトなファインチューニング（LoRA/RLSP）を実現してFinLLMsを民主化し、金融に焦点を当てたアプリケーションを実現します。

ABSTRACT

Large language models (LLMs) have shown the potential of revolutionizing natural language processing tasks in diverse domains, sparking great interest in finance. Accessing high-quality financial data is the first challenge for financial LLMs (FinLLMs). While proprietary models like BloombergGPT have taken advantage of their unique data accumulation, such privileged access calls for an open-source alternative to democratize Internet-scale financial data. In this paper, we present an open-source large language model, FinGPT, for the finance sector. Unlike proprietary models, FinGPT takes a data-centric approach, providing researchers and practitioners with accessible and transparent resources to develop their FinLLMs. We highlight the importance of an automatic data curation pipeline and the lightweight low-rank adaptation technique in building FinGPT. Furthermore, we showcase several potential applications as stepping stones for users, such as robo-advising, algorithmic trading, and low-code development. Through collaborative efforts within the open-source AI4Finance community, FinGPT aims to stimulate innovation, democratize FinLLMs, and unlock new opportunities in open finance. Two associated code repos are https://github.com/AI4Finance-Foundation/FinGPT and https://github.com/AI4Finance-Foundation/FinNLP

研究の動機と目的

• オープンソースのフレームワークを通じて金融データとFinLLMsを民主化する。
• FinLLMsのデータ取得、クレンジング、前処理の重要性を強調する。
• 金融向けに最適化されたエンドツーエンドの四層アーキテクチャ（データソース、データエンジニアリング、LLMs、アプリケーション）を提案する。
• FinGPTの潜在能力を示す実用的なアプリケーションとデモを示す。

提案手法

• 高品質なデータのキュレーションと前処理を優先するデータ中心のアプローチを採用する。
• データソース、データエンジニアリング、LLMs、アプリケーションのエンドツーエンド四層フレームワークを構築する。
• LoRAを用いたオープンソースLLMのライトウェイトファインチューニングを行い、学習可能パラメータを削減する（6.17Bから3.67Mへ）。
• 株価の変動をフィードバックとして使用するRLSPによる報酬学習を用いた代替のRLベースファインチューニングを提供する。
• RLHFに類似した手法とプロンプトエンジニアリングを活用して、モデル出力を金融タスクに合わせる。

実験結果

リサーチクエスチョン

• RQ1 オープンソースでデータ中心のパイプラインは金融における有効なFinLLMsをどのように支援できるか？
• RQ2 LoRAとRLSPをファインチューニングに用いる際のトレードオフは何か？
• RQ3 リアルタイムデータエンジニアリングは高い時系列感度と低SNRの金融データを克服できるか？
• RQ4 FinGPTはどのような実践的な金融アプリケーションを可能にし、オープンFinLLMsの価値を示すか？

主な発見

• FinGPTはコスト効率の高いファインチューニング手法を示す：オープンソースのLLMを学習するコストを300ドル未満で適用し、BloombergGPTのコストより低い。
• フレームワークは時系列感度と金融データのノイズに対処するため、リアルタイムデータの取り込み、クレンジング、NLP処理を強調する。
• LoRAベースのファインチューニングは学習可能パラメータを6.17Bから3.67Mに削減し、ドメイン関連の金融信号を活用する。
• RLSPは株価変動を目的信号として使用することで市場の反応に対するモデルの整合性を得る市場駆動のフィードバックループを提供する。
• オープンソースエコシステムとチュートリアルはロボアドバイザー、量的取引、リスク管理、金融教育などのアプリケーションを可能にする。