[论文解读] Financial Knowledge Large Language Model

Cehao Yang, Chengjin Xu+1 more|arXiv (Cornell University)|Jun 29, 2024

Stock Market Forecasting Methods被引用 5

一句话总结

本论文提出 IDEA-FinBench 用于金融知识评估，IDEA-FinKER 用于通过基于检索和指令知识注入的方式实现对LLMs的快速金融领域适应，IDEA-FinQA 用于实时知识增强的金融问答。

ABSTRACT

Artificial intelligence is making significant strides in the finance industry, revolutionizing how data is processed and interpreted. Among these technologies, large language models (LLMs) have demonstrated substantial potential to transform financial services by automating complex tasks, enhancing customer service, and providing detailed financial analysis. Firstly, we introduce IDEA-FinBench, an evaluation benchmark specifically tailored for assessing financial knowledge in large language models (LLMs). This benchmark utilizes questions from two globally respected and authoritative financial professional exams, aimimg to comprehensively evaluate the capability of LLMs to directly address exam questions pertinent to the finance sector. Secondly, we propose IDEA-FinKER, a Financial Knowledge Enhancement framework designed to facilitate the rapid adaptation of general LLMs to the financial domain, introducing a retrieval-based few-shot learning method for real-time context-level knowledge injection, and a set of high-quality financial knowledge instructions for fine-tuning any general LLM. Finally, we present IDEA-FinQA, a financial question-answering system powered by LLMs. This system is structured around a scheme of real-time knowledge injection and factual enhancement using external knowledge. IDEA-FinQA is comprised of three main modules: the data collector, the data querying module, and LLM-based agents tasked with specific functions.

研究动机与目标

• 用 CFA 和 CPA 考试题在中文和英文覆盖十六个学科。
• 开发基于检索的少量示例框架，将实时金融上下文注入到 LLMs（软注入）。
• 提供一组用于对通用 LLM 进行微调的金融知识硬注入指令集合。
• 创建一个具备实时知识注入与模块化数据收集/查询的金融问答系统（IDEA-FinQA）。
• 提供一个可适应的基准套件，具备模块化评估和跨语言提示能力。

提出的方法

• 以中文/英文覆盖十六个学科的 CFA 和 CPA 问题为基础，介绍 IDEA-FinBench。
• 使用基于嵌入的检索来支持对 LLMs 的实时上下文软注入（IDEA-FinKER）。
• 提供一组精心整理的金融知识指令，用于对 LLM 进行硬注入。
• 设计 IDEA-FinQA，包含数据采集器、数据查询模块，以及四个基于 LLM 的代理（查询改写器、意图检测器、提取/再细化器、应答生成器）。
• 利用外部知识源和 RAG 以降低幻觉并提高事实依据。

实验结果

研究问题

• RQ1 LLMs 是否能直接用中文和英文回答跨多个学科的 CFA/CPA 财务考试题？
• RQ2 基于检索的少量示例知识注入是否能提升 LLM 的财务推理和准确性？
• RQ3 结构化的金融知识指令集（硬注入）是否能提升领域特定 LLM 的性能？
• RQ4 通过外部知识库进行实时知识注入是否能提升金融问答性能并降低幻觉？

主要发现

• IDEA-FinBench 提供一个基于 CFA/CPA 问题、覆盖 16 个学科的基准，并支持模块化、跨语言评估。
• IDEA-FinKER 在 IDEA-FinBench 上显著提升到专家级的表现，尤其是对中文 CPA 风格的问题。
• 软注入的基于检索的范式实现对通用 LLM 的实时上下文知识增强。
• 具有金融知识指令集的硬注入范式支持对领域专业化进行微调。
• IDEA-FinQA 展示了一个三模块问答系统，利用实时知识和外部数据来提升事实准确性。