[論文レビュー] CatMemo at the FinLLM Challenge Task: Fine-Tuning Large Language Models using Data Fusion in Financial Applications

Yupeng Cao, Zhiyuan Yao+2 more|arXiv (Cornell University)|Jul 2, 2024

Stock Market Forecasting MethodsDecision Sciences被引用数 3

ひとこと要約

本稿では、パラメータ効率的微調整（PEFT）およびLoRAを用いて、Llama3-8BおよびMistral-7Bを微調整するためのデータ統合手法を提示する。金融NLPタスクにおける性能向上を図るもので、分類および要約タスクでF1（0.5634）およびROUGE-1（0.4920）のスコアが向上したが、タスクの複雑さとモデルの限界により、単一株式取引タスクでは改善が見られなかった。

ABSTRACT

The integration of Large Language Models (LLMs) into financial analysis has garnered significant attention in the NLP community. This paper presents our solution to IJCAI-2024 FinLLM challenge, investigating the capabilities of LLMs within three critical areas of financial tasks: financial classification, financial text summarization, and single stock trading. We adopted Llama3-8B and Mistral-7B as base models, fine-tuning them through Parameter Efficient Fine-Tuning (PEFT) and Low-Rank Adaptation (LoRA) approaches. To enhance model performance, we combine datasets from task 1 and task 2 for data fusion. Our approach aims to tackle these diverse tasks in a comprehensive and integrated manner, showcasing LLMs' capacity to address diverse and complex financial tasks with improved accuracy and decision-making capabilities.

研究の動機と目的

• 複数のタスクからのデータセットを統合することで、微調整されたLLMを用いて金融NLPのパフォーマンスを向上させること。
• PEFTおよびLoRAが、金融分類、要約、取引のタスクに適応させるために、LLMに効果的に適用できるかを評価すること。
• 分類および要約タスクからのデータを統合することで、金融LLMにおける推論力および一般化能力が向上するかを調査すること。
• 微調整されたモデルが、単一株式取引のような複雑な逐次意思決定タスクへの移行性を評価すること。
• 7B/8Bサイズの小さなLLMが、高リスクの金融予測タスクを処理する上で抱える限界を特定すること。

提案手法

• LoRAおよびPEFTを用いて、パラメータ効率的適応が可能なLlama3-8BおよびMistral-7Bを微調整した。
• タスク1（分類）およびタスク2（要約）の訓練データを統合し、モデルの一般化能力を向上させた。
• 要約および分類タスクの評価指標として、ROUGE-1、ROUGE-2、BERTScore、F1を用いた。
• 4つの株式を用いて、シャープ比、累積リターン、ボラティリティを指標として、取引パフォーマンスを評価した。
• FinMemフレームワークを実装し、金融テキストから逐次的取引意思決定を生成するモデルを構築した。
• 一貫した出力フォーマットとパフォーマンスを示したため、統合データで微調整されたMistral-7Bを最終テスト用に選定した。

実験結果

リサーチクエスチョン

• RQ1 金融分類と要約タスク間のデータ統合が、下流NLPタスクにおけるLLMパフォーマンスを向上させるか？
• RQ2 PEFTおよびLoRAが、限られたラベル付きデータで7B/8BのLLMを金融テキスト理解に効果的に適応できるか？
• RQ3 統合データセットでの微調整が、多様な金融タスクにおける推論力および一般化能力を向上させるか？
• RQ4 なぜ微調整されたモデルは、より複雑な単一株式取引タスクでパフォーマンス向上を達成できないのか？
• RQ5 モデルサイズおよびアーキテクチャ（例：Mistral-7B対Llama3-8B）が、金融意思決定タスクにおけるパフォーマンスに与える影響は何か？

主な発見

• Mistral-7Bは分類および要約タスクの両方でLlama3-8Bを上回り、出力構造とパフォーマンスの両面で優れていた。
• 統合データで微調整されたモデルは、タスク1でF1スコア0.5634を達成し、単一タスクでの微調整より顕著な改善を示した。
• 要約タスクでは、統合モデルがROUGE-1スコア0.4920を達成し、要約品質の向上が確認された。
• 統合データで微調整されたモデルは、単一株式取引タスク（タスク3）でのパフォーマンス向上を示さず、テストセットでシャープ比-0.6199を記録した。
• タスク1およびタスク2の両方のデータで訓練されたモデル3は、個別タスクでの訓練モデルを上回らなかった。これは、統合データからのノイズや矛盾する信号の可能性を示唆している。
• すべてのモデルが取引タスクで劣悪なパフォーマンスを示した。これは、逐次的意思決定の複雑さと、7B/8BのLLMが高リスク金融予測タスクを処理する能力の限界に起因する。