[論文レビュー] DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning

Wei Chen, Qiushi Wang+9 more|arXiv (Cornell University)|Oct 23, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、4つのタスク固有のインstructデータセット（ファイナンシャルコンサルティング、NLPタスク、計算、リトリーブ・オーバーラップ生成）を用いたLoRA適応による複数エキスパート微調整フレームワーク（MEFF）を活用して強化された中国語ファイナンシャル大規模言語モデル、DISC-FinLLMを提案する。このモデルは、複数のベンチマークでベースのLLMや既存のファイナンシャルモデルを上回り、特にリトリーブや計算プラグインを統合することで、ファイナンシャルQA、推論、知識抽出の分野で優れた性能を示している。

ABSTRACT

We propose Multiple Experts Fine-tuning Framework to build a financial large language model (LLM), DISC-FinLLM. Our methodology improves general LLMs by endowing them with multi-turn question answering abilities, domain text processing capabilities, mathematical computation skills, and retrieval-enhanced generation capabilities. We build a financial instruction-tuning dataset named DISC-FIN-SFT, including instruction samples of four categories (consulting, NLP tasks, computing and retrieval-augmented generation). Evaluations conducted on multiple benchmarks demonstrate that our model performs better than baseline models in various financial scenarios. Further resources can be found at https://github.com/FudanDISC/DISC-FinLLM.

研究の動機と目的

• 一般向けLLMが中国語の文脈において複雑なファイナンシャルタスクを処理する際の限界を解消すること。
• 既存のファイナンシャルNLPモデルにおけるラベル付きファイナンシャルデータの不足とドメイン特化知識の欠如を克服すること。
• 複数のタスクをカバーする多様なファイナンシャルユーザー層を支援できる統合的かつオープンソースのファイナンシャルLLMの開発。
• リアルワールドのファイナンシャルアプリケーションに向け、マルチターン対話、数値推論、リトリーブ・オーバーラップ生成をLLMに統合すること。
• タスク固有のLoRA微調整とリトリーブ強化生成の有効性を、ファイナンシャル推論と意思決定支援の文脈で評価すること。

提案手法

• 著者らは、ファイナンシャルコンサルティング、NLPタスク、ファイナンシャル計算、リトリーブ・オーバーラップ生成の4つのカテゴリを含む、教師ありインstructデータセット「DISC-FIN-SFT」を構築した。
• 4つのデータサブセットそれぞれに特化したLoRAアダプタを学習可能とする複数エキスパート微調整フレームワーク（MEFF）を採用し、タスク固有の特化を実現した。
• 各LoRAアダプタは、Baichuan-13B-Chatベースモデル上で微調整され、会話、NLP、計算、リトリーブの4つのファイナンシャル能力のいずれかに特化した。
• 推論時におけるモデル行動をガイドするためのシステムプロンプトを活用し、多様なファイナンシャルシナリオにおける性能向上を図った。
• 計算プラグインを統合することで、ファイナンシャル式の構築と数値推論タスクにおける正確性を向上させた。
• 評価は複数のベンチマークおよびGPT-3.5ベースの人的評価（リトリーブおよび推論タスク）を用い、精度、有用性、言語的品質、考察の深さといった指標を用いた。

実験結果

リサーチクエスチョン

• RQ1 マルチエキスパート微調整フレームワークは、一般向け中国語LLMが多様なファイナンシャルNLPタスクにおいて性能向上を達成できるか？
• RQ2 タスク固有のLoRA微調整は、ファイナンシャルコンサルティング、計算、リトリーブの分野でベースLLMの能力をどの程度向上させられるか？
• RQ3 リトリーブ・オーバーラップ生成は、ファイナンシャルQAにおける事実の正確性と分析の深さをどの程度向上させるか？
• RQ4 計算プラグインの統合は、ファイナンシャル数値推論タスクにおけるモデルの性能にどのような影響を及ぼすか？
• RQ5 MEFFフレームワークは、単一の統合データセットを用いた全パrameter微調整に比べ、より優れた一般化性能と適応性を実現できるか？

主な発見

• LoRA微調整後、6つの未学習のファイナンシャルNLPタスクにおいて、ベースのBaichuan-13B-Chatモデルよりも平均2〜9ポイントの性能向上を達成した。
• 既存のファイナンシャルLLM（例：FinGPT-v3）を上回り、人的評価において非特許モデルの中で最高平均スコアを記録。GPT-4とChatGPTに次いで2位。
• 計算タスクにおいて、計算プラグインを統合したモデルは、ChatGPTを0.09ポイント上回る精度を達成し、プラグイン統合の有効性を示した。
• リトリーブベースのタスクでは、すべての4つのGPT-3.5評価指標（精度、有用性、言語的品質、考察の深さ）において、ベースラインモデルよりも顕著に高いスコアを達成した。
• アブレーションスタディにより、全パrameter微調整はタスク固有のLoRA微調整に劣ることが確認され、MEFFアプローチの必要性が裏付けられた。
• モデルは優れた一般化性能を示し、学習データに含まれないNLPタスクに対しても高い性能を発揮しており、強固な転移学習能力を示している。