[論文レビュー] Data-Centric Financial Large Language Models

Zhixuan Chu, Huaiyu Guo+10 more|arXiv (Cornell University)|Oct 7, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、金融分析のための大規模言語モデル（LLM）を向上させるためのデータ中心のアプローチを提案する。FLLM（金融特化型LLM）をマルチタスクプロンプトベースのファインチューニングにより訓練し、金融テキストの前処理と事前理解を行う。ラベル付きデータが不足する問題に対処するため、FLLM自身の擬似ラベルから高品質なトレーニング例を自動生成する帰納的増強推論（AAR）を導入し、金融解釈ベンチマークで最先端のパフォーマンスを達成。また、新しいオープンソースベンチマークをリリースする。

ABSTRACT

Large language models (LLMs) show promise for natural language tasks but struggle when applied directly to complex domains like finance. LLMs have difficulty reasoning about and integrating all relevant information. We propose a data-centric approach to enable LLMs to better handle financial tasks. Our key insight is that rather than overloading the LLM with everything at once, it is more effective to preprocess and pre-understand the data. We create a financial LLM (FLLM) using multitask prompt-based finetuning to achieve data pre-processing and pre-understanding. However, labeled data is scarce for each task. To overcome manual annotation costs, we employ abductive augmentation reasoning (AAR) to automatically generate training data by modifying the pseudo labels from FLLM's own outputs. Experiments show our data-centric FLLM with AAR substantially outperforms baseline financial LLMs designed for raw text, achieving state-of-the-art on financial analysis and interpretation tasks. We also open source a new benchmark for financial analysis and interpretation. Our methodology provides a promising path to unlock LLMs' potential for complex real-world domains.

研究の動機と目的

• 一般向けLLMを複雑な金融タスクに適用する課題に対処し、情報過多とドメイン統合の欠如により、生のテキストに対する直接的推論が失敗する理由を解消する。
• 専門家がアノテートした金融データの不足を克服するため、手動ラベリングではなく自己教師的推論によるデータ合成を自動化する。
• マルチタスクファインチューニングを用いて、金融テキストの前処理と構造化により、金融LLMの推論および解釈能力を向上させる。
• FLLMを用いたプロンプト強化が、LangChainのような下流LLMエージェントが正確で論理的かつ専門的水準の金融分析を生成する能力を向上させるかどうかを評価する。
• 分野の標準化を図るため、金融分析と解釈のための新しいベンチマークを確立する。

提案手法

• イベントマッチング、見解の質評価、キーポイント抽出を含む多様な金融NLPタスクに対して、マルチタスクプロンプトベースのファインチューニングを用いて金融特化型LLM（FLLM）を訓練する。
• FLLMの出力を擬似ラベルとして用い、帰納的増強推論（AAR）により合成トレーニングデータを生成する。AARは出力を変更することで、多様で高品質なトレーニング例を生成する。
• FLLMをプレプロセッサとして活用し、ChatGPTなどの下流LLMに供給する前に、生の金融テキストを構造的でドメイン理解済みの表現に変換する。
• FLLMの出力をLangChainのプロンプトに統合し、生成をガイドすることで、金融解釈の関連性、正確性、論理的整合性、専門性を向上させる。
• コンテキスト内学習とプロンプト工学を活用し、完全な再訓練なしにFLLMを新しい金融タスクにゼロショットおよびフェイシュットで適応可能にする。
• 分野の標準化と再現可能性を促進するため、金融分析と解釈のための新しいオープンソースベンチマークをリリースする。

実験結果

リサーチクエスチョン

• RQ1 データ中心のアプローチは、生のテキストに対する標準的なファインチューニングと比較して、金融分析および解釈タスクにおけるLLMのパフォーマンスを顕著に向上させることができるか？
• RQ2 帰納的増強推論（AAR）は、金融NLPにおける高コストな専門家アノテーションデータへの依存度をどの程度低減できるか？
• RQ3 FLLMを強化したプロンプトは、LangChainのような既存のLLMエージェントが生成する金融分析の質をどの程度向上させるか？
• RQ4 個々のFLLMサブタスク（イベントマッチング、見解の質評価、キーポイント抽出）が最終的な分析品質に果たす相対的寄与度はどの程度か？
• RQ5 提案されたFLLMフレームワークは、金融を越えた複雑で知識集約的なドメインにも一般化可能か？

主な発見

• 帰納的増強推論（AAR）を備えたFLLMは、金融分析および解釈ベンチマークで最先端のパフォーマンスを達成し、生のテキストで訓練されたベースラインLLMを上回る。
• FLLMを強化したLangChain出力は、すべての4つの評価次元で顕著に高いスコアを記録した：関連性（4.85 vs. 4.28）、正確性（4.78 vs. 4.14）、論理的整合性（4.28 vs. 3.71）、専門性（4.71 vs. 3.57）。
• アブレーションスタディの結果、イベントマッチング、見解の質評価、キーポイント抽出という3つのFLLMサブタスクが、最終出力品質に独自かつ補完的な貢献をしていることが示された。
• FLLMのパフォーマンスは、ラベル付きデータ量の増加に伴い向上し、限られた監視下でもスケーラビリティと有効性を示した。
• 提案された金融分析および解釈用ベンチマークは、標準化された人間によるアノテーション評価スイートを提供し、将来的なモデルの信頼性ある比較を可能にする。
• このフレームワークは、ドメイン特化型LLMによる金融データの事前処理と事前理解が、わずかなラベル付きデータしか使用しない場合でも、下流の推論を顕著に向上させることを示している。