[论文解读] Data-Centric Financial Large Language Models

Zhixuan Chu, Huaiyu Guo+10 more|arXiv (Cornell University)|Oct 7, 2023

Topic Modeling被引用 5

一句话总结

本文提出一种以数据为中心的方法，通过多任务提示微调训练金融领域专用大语言模型（FLLM），以预处理和预理解金融文本，从而提升大语言模型（LLMs）在金融分析中的表现。为解决标注数据稀缺的问题，提出归纳增强推理（AAR），利用FLLM自身生成的伪标签自动构建高质量训练样本，在金融理解基准上实现最先进性能，并发布一个新的开源基准。

ABSTRACT

Large language models (LLMs) show promise for natural language tasks but struggle when applied directly to complex domains like finance. LLMs have difficulty reasoning about and integrating all relevant information. We propose a data-centric approach to enable LLMs to better handle financial tasks. Our key insight is that rather than overloading the LLM with everything at once, it is more effective to preprocess and pre-understand the data. We create a financial LLM (FLLM) using multitask prompt-based finetuning to achieve data pre-processing and pre-understanding. However, labeled data is scarce for each task. To overcome manual annotation costs, we employ abductive augmentation reasoning (AAR) to automatically generate training data by modifying the pseudo labels from FLLM's own outputs. Experiments show our data-centric FLLM with AAR substantially outperforms baseline financial LLMs designed for raw text, achieving state-of-the-art on financial analysis and interpretation tasks. We also open source a new benchmark for financial analysis and interpretation. Our methodology provides a promising path to unlock LLMs' potential for complex real-world domains.

研究动机与目标

• 为解决通用大语言模型在复杂金融任务中应用时，因信息过载和缺乏领域融合而导致直接对原始文本进行推理失败的问题。
• 通过自监督推理而非人工标注，实现数据合成，以克服专家标注金融数据稀缺的问题。
• 通过多任务微调预处理和结构化金融文本，提升金融大语言模型的推理与理解能力。
• 评估FLLM增强的提示是否能提升下游大语言模型代理（如LangChain）生成准确、逻辑严谨且具备专家水平的金融分析的能力。
• 建立新的金融分析与理解基准，以标准化该领域的评估。

提出的方法

• 在包括事件匹配、观点质量评估和关键点提取在内的多样化金融NLP任务上，使用多任务提示微调方法训练金融领域专用大语言模型（FLLM）。
• 利用FLLM自身输出作为伪标签，通过归纳增强推理（AAR）生成合成训练数据，即通过修改输出生成多样化、高质量的训练样本。
• 将FLLM用作预处理器，在输入下游大语言模型（如ChatGPT）前，将原始金融文本转换为结构化、领域理解的表示形式。
• 将FLLM输出整合到LangChain提示中，以引导生成过程，提升金融分析结果的相关性、准确性、逻辑性和专业性。
• 利用上下文学习和提示工程，使FLLM无需完整微调即可实现零样本和少样本适应新金融任务。
• 发布一个新的开源金融分析与理解基准，以标准化评估并促进可复现性。

实验结果

研究问题

• RQ1 与在原始文本上进行标准微调相比，以数据为中心的方法是否能显著提升大语言模型在金融分析与理解任务中的性能？
• RQ2 归纳增强推理（AAR）在多大程度上能减少金融NLP中对昂贵专家标注数据的依赖？
• RQ3 FLLM增强的提示在多大程度上提升了现有大语言模型代理（如LangChain）生成的金融分析质量？
• RQ4 FLLM的各个子任务——事件匹配、观点质量评估和关键点提取——对最终分析质量的相对贡献是什么？
• RQ5 所提出的FLLM框架能否推广到金融以外的其他复杂、知识密集型领域？

主要发现

• 结合归纳增强推理（AAR）的FLLM在金融分析与理解基准上达到最先进性能，优于在原始文本上微调的基线大语言模型。
• FLLM增强的LangChain输出在所有四个评估维度上得分显著更高：相关性（4.85 vs. 4.28）、准确性（4.78 vs. 4.14）、逻辑性（4.28 vs. 3.71）和专业性（4.71 vs. 3.57）。
• 消融实验证明，FLLM的三个子任务——事件匹配、观点质量评估和关键点提取——对最终输出质量均有独特且互补的贡献。
• FLLM的性能随标注数据量的增加而提升，表明其在有限监督下仍具备可扩展性和有效性。
• 所提出的金融分析与理解基准提供了一个标准化、人工标注的评估套件，可实现未来模型的可靠比较。
• 该框架表明，通过领域专用大语言模型对金融数据进行预处理和预理解，能显著增强下游推理能力，即使仅使用少量标注数据亦可。