[论文解读] Financial News Analytics Using Fine-Tuned Llama 2 GPT Model

Bohdan M. Pavlyshenko|arXiv (Cornell University)|Aug 24, 2023

Stock Market Forecasting Methods被引用 17

一句话总结

这篇论文使用 PEFT/LoRA 对 Llama 2 进行微调，以便进行多任务金融新闻分析，输出结构化回答和 JSON 输出，以便下游预测使用。

ABSTRACT

The paper considers the possibility to fine-tune Llama 2 GPT large language model (LLM) for the multitask analysis of financial news. For fine-tuning, the PEFT/LoRA based approach was used. In the study, the model was fine-tuned for the following tasks: analysing a text from financial market perspectives, highlighting main points of a text, summarizing a text and extracting named entities with appropriate sentiments. The obtained results show that the fine-tuned Llama 2 model can perform a multitask financial news analysis with a specified structure of response, part of response can be a structured text and another part of data can have JSON format for further processing. Extracted sentiments for named entities can be considered as predictive features in supervised machine learning models with quantitative target variables.

研究动机与目标

• 使用开源大模型来推动多任务金融新闻分析。
• 展示基于 PEFT/LoRA 的微调在金融新闻数据集上的应用。
• 展示微调后的 Llama 2 能输出结构化的响应和用于下游任务的 JSON。
• 探索提取的命名实体情感如何作为预测特征。

提出的方法

• 在来自 Kaggle 的金融新闻数据集上，对 Llama 2-7b-chat-hf 进行 PEFT/LoRA 微调。
• 在微调过程中使用 4-bit 或 8-bit 量化以优化 GPU 使用。
• 使用 SFTTrainer 进行训练并指定训练参数（例如 learning_rate 5e-4、10 个 epoch、max_seq_length 2048）。
• 提供引导模型从市场角度分析文本、突出要点、进行摘要，并提取带情感的命名实体的提示。
• 在训练集和验证集上评估损失曲线，以比较 4-bit 与 8-bit 量化。
• 评估结合结构化文本和 JSON 的输出以用于下游处理。

Figure 1: Loss curves for training ( loss ) and validation ( eval_loss ) datasets in case of 4bit model quantization.

实验结果

研究问题

• RQ1 微调后的 Llama 2 模型是否能够以结构化响应执行多任务金融新闻分析？
• RQ2 PEFT/LoRA 微调的模型是否能产生可作为预测特征的可靠命名实体情感数据？
• RQ3 在微调过程中 4-bit 与 8-bit 量化之间是否存在性能差异？
• RQ4 模型是否能够生成同时包含自然语言和 JSON 数据的输出，便于下游处理。

主要发现

• 微调后的 Llama 2 模型可以以指定结构进行多任务金融新闻分析。
• 提取的命名实体情感可以被视为具有定量目标的有监督模型的预测特征。
• 在微调过程中，4-bit 与 8-bit 量化的损失曲线非常相似。
• 该方法使输出能够将结构化文本与 JSON 格式数据混合，以便进一步处理。
• 来自 Kaggle 的训练数据集包含用于微调和评估的多家金融新闻来源。
• JSON 输出中命名实体的不准确可以通过更精确的训练数据集和指令来解决。

Figure 2: Loss curves for training ( loss ) and validation ( eval_loss ) datasets in case of 8bit model quantization.