[論文レビュー] Instruct-FinGPT: Financial Sentiment Analysis by Instruction Tuning of General-Purpose Large Language Models

Boyu Zhang, Hongyang Yang+1 more|arXiv (Cornell University)|Jun 22, 2023

Stock Market Forecasting Methods被引用数 11

ひとこと要約

この論文は、一般目的の大規模言語モデル（LLaMA-7B）を、財務感情分析の小規模データセットで指示調整することでFinBERTとChatGPTを上回る成果を出し、数値感度と文脈理解を重視する。

ABSTRACT

Sentiment analysis is a vital tool for uncovering insights from financial articles, news, and social media, shaping our understanding of market movements. Despite the impressive capabilities of large language models (LLMs) in financial natural language processing (NLP), they still struggle with accurately interpreting numerical values and grasping financial context, limiting their effectiveness in predicting financial sentiment. In this paper, we introduce a simple yet effective instruction tuning approach to address these issues. By transforming a small portion of supervised financial sentiment analysis data into instruction data and fine-tuning a general-purpose LLM with this method, we achieve remarkable advancements in financial sentiment analysis. In the experiment, our approach outperforms state-of-the-art supervised sentiment analysis models, as well as widely used LLMs like ChatGPT and LLaMAs, particularly in scenarios where numerical understanding and contextual comprehension are vital.

研究の動機と目的

• 一般目的の LLM の指示調整が財務感情分析を改善できることを示す。
• 財務テキストにおける数値感度に対処し、数値から感情をより適切に解釈する。
• LLM の事前知識によって強化された文脈理解の役割を評価する。
• 財務感情タスクにおいて、指示調整された LLaMA-7B を FinBERT および ChatGPT と比較する。

提案手法

• 感情分類データセットを、10 個の人間が作成した指示を用いた指示調整形式に変換する。
• 整形した指示データを用いて、監視付き系列対系列損失で LLaMA-7B をファインチューニングする。
• 自己回帰出力を3つの感情ラベル（positive, negative, neutral）に対応付ける。
• 文脈と数値感度を評価するため、FinBERT および LLaMA-7B と比較評価する。
• 指定されたハイパーパラメータで、DeepSpeed を用いて 8 個の A100 GPU で 10 エポックの訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 指示調整された LLM を用いて、財務感情分析における数値感度をどのように向上させられるか？
• RQ2 一般的な LLM 知識から得られる文脈理解が財務感情予測に与える影響はどのようなものか？
• RQ3 財務感情タスクにおいて、指示調整された FinGPT は従来の FinBERT および汎用 LLM に対してどのように比較されるか？
• RQ4 少量の指示データで、一般目的の LLM が最先端の性能を発揮できるか？

主な発見

名称	サイズ	指標	FinBERT	LLaMA-7B	Instruct-FinGPT-7B
Twitter Val	2388	Acc / F1 / Testing Time	0.725 / 0.668 / 18 seconds (1 GPU)	0.54 / 0.36 / 498 seconds (8 GPUs)	0.880 / 0.841 / 498 seconds (8 GPUs)
Numerical	117	Acc / F1	0.633 / 0.630	0.60 / 0.42	0.837 / 0.795
Contextual	20	Acc / F1	0.50 / 0.22	0.55 / 0.34	0.80 / 0.63

• Instruct-FinGPT-7B は、すべての評価データセットにおいて、精度と F1 の両方で FinBERT および LLaMA-7B を上回る。
• 数値に関連する感情を正しく解釈するなど、モデルは強い数値感度を示す。
• 指示調整された LLM からの文脈理解は、文脈が欠如している場合や曖昧な場合の感情解釈を向上させる。
• ゼロショット FPB 評価では Instruct-FinGPT-7B が ChatGPT-3.5 および LLaMA-7B より有利で、良好な一般化を示している。
• 訓練時間は比較的控えめ（約58分、8 A100 GPU）で、指示データは少量。
• 本手法は BloombergGPT に比べ、はるかに低い訓練リソースで優れた性能を達成する。