[论文解读] InvestLM: A Large Language Model for Investment using Financial Domain Instruction Tuning

Yi Yang, Yixuan Tang+1 more|arXiv (Cornell University)|Sep 15, 2023

Stock Market Forecasting Methods被引用 24

一句话总结

InvestLM 是一个在指令微调 LLaMA-65B 基础上构建的金融领域大型语言模型，通过精心挑选的领域特定指令数据集实现，在金融NLP基准上获得与专家评估竞争力的表现和跨任务良好泛化。

ABSTRACT

We present a new financial domain large language model, InvestLM, tuned on LLaMA-65B (Touvron et al., 2023), using a carefully curated instruction dataset related to financial investment. Inspired by less-is-more-for-alignment (Zhou et al., 2023), we manually curate a small yet diverse instruction dataset, covering a wide range of financial related topics, from Chartered Financial Analyst (CFA) exam questions to SEC filings to Stackexchange quantitative finance discussions. InvestLM shows strong capabilities in understanding financial text and provides helpful responses to investment related questions. Financial experts, including hedge fund managers and research analysts, rate InvestLM's response as comparable to those of state-of-the-art commercial models (GPT-3.5, GPT-4 and Claude-2). Zero-shot evaluation on a set of financial NLP benchmarks demonstrates strong generalizability. From a research perspective, this work suggests that a high-quality domain specific LLM can be tuned using a small set of carefully curated instructions on a well-trained foundation model, which is consistent with the Superficial Alignment Hypothesis (Zhou et al., 2023). From a practical perspective, this work develops a state-of-the-art financial domain LLM with superior capability in understanding financial texts and providing helpful investment advice, potentially enhancing the work efficiency of financial professionals. We release the model parameters to the research community.

研究动机与目标

• 为投资任务提供可访问的高质量金融领域 LLM 的需求的动机
• 证明一个小而精心策划的领域指令集就能有效微调一个基础模型
• 展示领域指令微调对金融 NLP 基准的良好泛化
• 提供专家评估，将 InvestLM 与最先进的商业模型进行比较
• 提供关于领域特定指令数据与通用指令数据对模型性能影响的洞见

提出的方法

• 使用 Low-rank Adaptation (LoRA) 对 LLaMA-65B 进行微调，选定投射模块的秩为 16。
• 使用 Linear Rope Scaling 将上下文长度扩展到 8,192 tokens，以处理较长的金融文本。
• 在 InvestLM-65B 上以学习率 3e-4、批量大小 16 训练 15 个 epoch。
• 从 CFA、StackExchange QFin、学术期刊、教科书、SEC 文件、金融 NLP 任务和投资问题构建一个 1,335 指令的数据集。
• 通过专家评估和 GPT-4 风格评分，将 InvestLM 与 GPT-3.5、GPT-4、Claude-2 以及开源基线进行比较。

Figure 1: Expert evaluation.

实验结果

研究问题

• RQ1 一个小而精心策划的金融领域指令集是否能有效将一个强大的基础模型转变为高质量的金融 LLM？
• RQ2 与通用指令数据相比，领域指令微调如何影响金融 NLP 任务的性能？
• RQ3 在金融基准测试和专家评估中，InvestLM 相对于最先进的商业模型的表现如何？
• RQ4 InvestLM 对未在微调中明确使用的金融NLP任务的泛化能力如何？
• RQ5 在投资情景中，领域调优的 LLaMA 基模型与基线 LLaMA 的行为差异是什么？

主要发现

• InvestLM 的专家评估回答在测试问题上与 GPT-3.5 和 GPT-4 相当或更好。
• InvestLM 在未用于调优的若干金融 NLP 基准测试上显示出强泛化能力。
• 域指令微调对较小模型（7B）的提升大于对较大模型（65B）。
• 通用的 Alpaca 风格指令会损害领域任务的性能，凸显领域特定数据的价值。
• InvestLM 相对于 LLaMA 减少了幻觉，并给出简明、合乎逻辑的投资结论。
• InvestLM 的结果与表面对齐假说（Superficial Alignment Hypothesis）一致，显示来自定向指令的高域性能。

Figure 2: GPT-4 evaluation.