[论文解读] Beyond Classification: Financial Reasoning in State-of-the-Art Language Models

Guijin Son, Hanearl Jung+3 more|arXiv (Cornell University)|Apr 30, 2023

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本文研究了最先进语言模型的金融推理能力，提出了一项新任务——金融投资观点生成（FIOG），并对比评估了参数量从2.8B到13B的GPT系列模型（含与不含指令微调的版本）。研究发现，6B参数时开始出现连贯的金融推理能力，且通过指令微调和更大规模数据集可进一步提升性能，同时公开发布了包含11,802个合成投资观点样本的sFIOG数据集。

ABSTRACT

Large Language Models (LLMs), consisting of 100 billion or more parameters, have demonstrated remarkable ability in complex multi-step reasoning tasks. However, the application of such generic advancements has been limited to a few fields, such as clinical or legal, with the field of financial reasoning remaining largely unexplored. To the best of our knowledge, the ability of LLMs to solve financial reasoning problems has never been dealt with, and whether it can be performed at any scale remains unknown. To address this knowledge gap, this research presents a comprehensive investigation into the potential application of LLMs in the financial domain. The investigation includes a detailed exploration of a range of subjects, including task formulation, synthetic data generation, prompting methods, and evaluation capability. Furthermore, the study benchmarks various GPT variants with parameter scales ranging from 2.8B to 13B, with and without instruction tuning, on diverse dataset sizes. By analyzing the results, we reveal that the ability to generate coherent financial reasoning first emerges at 6B parameters, and continues to improve with better instruction-tuning or larger datasets. Additionally, the study provides a publicly accessible dataset named sFIOG (Synthetic-Financial Investment Opinion Generation), consisting of 11,802 synthetic investment thesis samples, to support further research in the field of financial reasoning. Overall, this research seeks to contribute to the understanding of the efficacy of language models in the field of finance, with a particular emphasis on their ability to engage in sophisticated reasoning and analysis within the context of investment decision-making.

研究动机与目标

• 探究大语言模型在分类任务之外的复杂金融推理能力。
• 开发并评估一项新颖的金融推理任务——金融投资观点生成（FIOG），该任务要求进行多步逻辑与数值推理。
• 评估模型规模、指令微调与数据集规模对金融推理性能的影响。
• 提出一种新型提示方法——上下文问答（In-Context Question Answering），以实现对金融观点生成的精准控制。
• 发布一个公开可访问的合成数据集（sFIOG），以支持未来金融语言建模研究。

提出的方法

• 提出了一项新任务——金融投资观点生成（FIOG），要求模型基于金融数据与公司信息生成连贯且具有说服力的投资观点。
• 开发了一种新颖的提示技术，称为上下文问答（In-Context Question Answering），以引导模型生成上下文一致且结构清晰的金融观点。
• 利用大语言模型生成了一个合成数据集sFIOG，包含11,802个投资观点样本，涵盖多样化的公司与金融情境。
• 在不同数据集规模下，对多个GPT系列模型（参数量从2.8B到13B）进行了FIOG任务的基准测试，涵盖指令微调与非指令微调版本。
• 采用ROUGE-L与人类偏好研究评估模型性能，对比了基于大语言模型的评估器（G-Eval）与人工判断结果。
• 通过消融实验分析模型规模、训练步数与数据构成的影响，以分离规模与微调对推理质量的作用。

实验结果

研究问题

• RQ1 在何种模型规模下，最先进语言模型中首次出现连贯的金融推理能力？
• RQ2 与非指令微调模型相比，指令微调对语言模型在金融推理任务上的性能有何影响？
• RQ3 数据集规模与训练步数对金融投资观点生成质量有何影响？
• RQ4 基于大语言模型的评估器（如G-Eval）在评估金融推理输出质量时，与人类判断的对齐程度如何？
• RQ5 上下文提示技术能否提升生成投资观点的连贯性与事实一致性？

主要发现

• 连贯金融推理能力首次在6B参数模型中出现，且性能随参数增至13B持续提升。
• 所有规模下，指令微调模型均优于非指令微调模型，表明微调能显著提升推理质量。
• 在类型#2问题（已知公司的新型问答对）上的表现劣于类型#3问题（未知公司），表明训练数据中非平稳知识会阻碍泛化能力。
• 表现最佳的模型——指令微调的LLaMA 13B——即使在仅1,502个样本的小数据集上也取得了优异结果，表明模型规模可能比数据集规模更具决定性。
• 人类偏好评估中，LLaMA被列为最青睐的模型，其次为GPT-J，与自动化指标结果一致。
• 本研究揭示了基于大语言模型的评估器（G-Eval）与人类评估者在判断金融文本质量方面存在显著偏差，凸显了自动化评估在金融推理任务中的局限性。