[論文レビュー] Financial News Analytics Using Fine-Tuned Llama 2 GPT Model

Bohdan M. Pavlyshenko|arXiv (Cornell University)|Aug 24, 2023

Stock Market Forecasting Methods被引用数 17

ひとこと要約

本論文は PEFT/LoRA を用いて Llama 2 を多タスクの金融ニュース分析へ微調整し、下流の予測利用のための構造化された回答と JSON 出力を生成する。

ABSTRACT

The paper considers the possibility to fine-tune Llama 2 GPT large language model (LLM) for the multitask analysis of financial news. For fine-tuning, the PEFT/LoRA based approach was used. In the study, the model was fine-tuned for the following tasks: analysing a text from financial market perspectives, highlighting main points of a text, summarizing a text and extracting named entities with appropriate sentiments. The obtained results show that the fine-tuned Llama 2 model can perform a multitask financial news analysis with a specified structure of response, part of response can be a structured text and another part of data can have JSON format for further processing. Extracted sentiments for named entities can be considered as predictive features in supervised machine learning models with quantitative target variables.

研究の動機と目的

• オープンソースの LLM を用いた多タスクの金融ニュース分析を動機づける。
• 金融ニュースデータセットに対する PEFT/LoRA ベースの微調整を実証する。
• 微調整済みの Llama 2 が下流タスクのための構造化された回答と JSON を出力できることを示す。
• 抽出された固有表現のセンチメントが予測特徴量として機能するかを探る。

提案手法

• Kaggle の金融ニュースデータセットに対して PEFT/LoRA で Llama 2-7b-chat-hf を微調整する。
• 微調整中の GPU 使用を最適化するために 4-bit または 8-bit 量子化を使用する。
• SFTTrainer を用いて、指定された学習パラメータ（例: learning_rate 5e-4、10 エポック、max_seq_length 2048）で学習する。
• 市場の観点から テキストを分析させ、要点を強調し、要約し、固有表現とそのセンチメントを抽出するようモデルを誘導するプロンプトを提供する。
• 4-bit と 8-bit 量子化を比較するため、訓練・検証データセットのロス曲線を評価する。
• 下流処理のために構造化テキストと JSON を組み合わせた出力を評価する。

Figure 1: Loss curves for training ( loss ) and validation ( eval_loss ) datasets in case of 4bit model quantization.

実験結果

リサーチクエスチョン

• RQ1 微調整済みの Llama 2 モデルは、構造化された回答で多タスクの金融ニュース分析を実行できるか。
• RQ2 PEFT/LoRA の微調整モデルは、予測特徴量として適切な信頼性のある固有表現のセンチメントデータを生み出すか。
• RQ3 微調整時の 4-bit と 8-bit 量子化の性能差はあるか。
• RQ4 モデルは自然言語と JSON データを交差させて下流処理を容易にする出力を生成できるか。

主な発見

• 微調整済みの Llama 2 モデルは、指定された構造の回答で多タスクの金融ニュース分析を実行できる。
• 固有表現のセンチメント抽出は、定量的ターゲットを持つ教師ありモデルの予測特徴量として考慮できる。
• 微調整中の 4-bit と 8-bit 量子化のロス曲線は非常に似ている。
• このアプローチは、さらなる処理のために構造化テキストと JSON 形式データを混在させた出力を可能にする。
• Kaggle からの学習データセットには、微調整と評価に用いられた複数の金融ニュースソースが含まれている。
• JSON 出力での固有名詞の誤りは、より正確な学習データセットと指示で対処可能。

Figure 2: Loss curves for training ( loss ) and validation ( eval_loss ) datasets in case of 8bit model quantization.