[論文レビュー] FinGPT: Democratizing Internet-scale Data for Financial Large Language Models

Xiaoyang Liu, Guoxuan Wang+2 more|arXiv (Cornell University)|Jul 19, 2023

Stock Market Forecasting Methods被引用数 22

ひとこと要約

FinGPTはオープンソースのデータ中心フレームワークを提示し、34以上のソースからインターネット規模の金融データをリアルタイムで収集・編纂する自動化を実現し、LoRA/QLoRAと市場フィードバックを用いた財務向けLLMの軽量微調整を可能にします。

ABSTRACT

Large language models (LLMs) have demonstrated remarkable proficiency in understanding and generating human-like texts, which may potentially revolutionize the finance industry. However, existing LLMs often fall short in the financial field, which is mainly attributed to the disparities between general text data and financial text data. Unfortunately, there is only a limited number of financial text datasets available, and BloombergGPT, the first financial LLM (FinLLM), is close-sourced (only the training logs were released). In light of this, we aim to democratize Internet-scale financial data for LLMs, which is an open challenge due to diverse data sources, low signal-to-noise ratio, and high time-validity. To address the challenges, we introduce an open-sourced and data-centric framework, Financial Generative Pre-trained Transformer (FinGPT), that automates the collection and curation of real-time financial data from 34 diverse sources on the Internet, providing researchers and practitioners with accessible and transparent resources to develop their FinLLMs. Additionally, we propose a simple yet effective strategy for fine-tuning FinLLM using the inherent feedback from the market, dubbed Reinforcement Learning with Stock Prices (RLSP). We also adopt the Low-rank Adaptation (LoRA, QLoRA) method that enables users to customize their own FinLLMs from general-purpose LLMs at a low cost. Finally, we showcase several FinGPT applications, including robo-advisor, sentiment analysis for algorithmic trading, and low-code development. FinGPT aims to democratize FinLLMs, stimulate innovation, and unlock new opportunities in open finance. The codes have been open-sourced.

研究の動機と目的

• FinLLMsのためのインターネット規模の金融データを民主化することの実現可能性を示す。
• データソース、編纂、LLMs、アプリケーションの4層からなるFinGPTフレームワークを導入する。
• 軽量な手法と市場ベースの強化信号によるデータ駆動型微調整を実演する。
• ロボアドバイザー、取引の感情分析、ローコード開発などの適用を検証する。

提案手法

• 四層のFinGPTアーキテクチャ（データソース、データ編纂、LLM、アプリケーション）。
• ニュース、ソーシャルメディア、提出書類、データセットを含む34以上の多様なソースからのリアルタイム自動データ収集。
• 品質向上とノイズ低減のためのデータクリーニングと文書フィルタリング。
• 軽量なモデル微調整のための低ランク適応（LoRA/QLoRA）。
• 市場フィードバックを感情のラベルとして用いる株価を用いた強化学習（RLSP）。
• プラグアンドプレイ可能なFinLLMsを実現する低コスト適応とプライバシー配慮。

実験結果

リサーチクエスチョン

• RQ1 オープンでリアルタイムなインターネット規模の金融データを収集・編纂してFinLLMsを訓練することは可能か？
• RQ2 データ中心のFinGPTは基準と比較して金融タスクでFinLLMの性能を向上させるか？
• RQ3 軽量な微調整手法（LoRA/QLoRA）と市場フィードバック信号は効果的なFinLLMsに十分か？
• RQ4 実用的な FinGPT アプリケーションは何か、ロボアドバイジング、感情主導の取引、ローコード開発でのパフォーマンスはどうか？

主な発見

• FinGPTパイプラインは34以上のデータソースを統合し、金融データへのアクセスを民主化する。
• RLSPは人間のフィードバックなしに市場に基づくラベリングを可能にし、ラベリングコストを削減する。
• LoRA/QLoRAを用いるFinGPTは適応コストを低減し、データプライバシーを維持する。
• FinGPT編纂データ上での微調整は、感情分析と取引指標をベースラインより改善する。
• Table 1 はニュース感情タスクでFinGPTがLLaMAより高い精度と累積リターンを達成することを示している。
• 金融データセット（FPB、FiQA-SA、TFNS、NWGI）での微調整は、事前学習済みベースラインより顕著なF1と精度の向上をもたらす。