[论文解读] Large Language Model in Financial Regulatory Interpretation

Zhiyu Cao, Zachary Feinstein|arXiv (Cornell University)|May 10, 2024

FinTech, Crowdfunding, Digital Finance被引用 4

一句话总结

本文提出了一套系统性框架，利用大型语言模型（LLMs）如GPT-4来解释复杂的金融监管法规——特别是巴塞尔协议III市场风险规则——通过设计精确的提示词并优化文档加载方法。结果表明，采用工程化提示词和基于图像的文档输入方式，GPT-4在识别相关性方面达到96.5%的准确率，在风险敞口分类方面达到85%，显著优于原始提示词方法及其他LLMs。

ABSTRACT

This study explores the innovative use of Large Language Models (LLMs) as analytical tools for interpreting complex financial regulations. The primary objective is to design effective prompts that guide LLMs in distilling verbose and intricate regulatory texts, such as the Basel III capital requirement regulations, into a concise mathematical framework that can be subsequently translated into actionable code. This novel approach aims to streamline the implementation of regulatory mandates within the financial reporting and risk management systems of global banking institutions. A case study was conducted to assess the performance of various LLMs, demonstrating that GPT-4 outperforms other models in processing and collecting necessary information, as well as executing mathematical calculations. The case study utilized numerical simulations with asset holdings -- including fixed income, equities, currency pairs, and commodities -- to demonstrate how LLMs can effectively implement the Basel III capital adequacy requirements. Keywords: Large Language Models, Prompt Engineering, LLMs in Finance, Basel III, Minimum Capital Requirements, LLM Ethics

研究动机与目标

• 为解决使用LLMs解读高度复杂、冗长的金融监管法规（如巴塞尔协议III）所面临的挑战。
• 识别并缓解LLMs在金融监管解读中的关键局限，包括数学推理能力差以及对提示设计的敏感性。
• 开发一种系统化的提示工程与文档加载框架，以提升LLMs在提取监管要求方面的准确性。
• 评估并比较多种LLMs（GPT-4、GPT-3.5、Claude-3、Gemini-1.5）在监管文本解读任务中的表现。
• 通过巴塞尔协议III市场风险最低资本要求的案例研究，验证该框架的有效性，采用真实资产持仓数据。

提出的方法

• 设计了一套结构化提示工程方法，整合关键监管要素（如风险敞口类别、权重、相关性）以引导LLMs实现准确解读。
• 通过对比PDF与图像输入方式，评估文档加载方法在监管文档中的表现，利用图像格式在视觉解析方面的优势。
• 在人工整理的巴塞尔协议III监管文本数据集上，对GPT-3.5、GPT-4、Claude-3-Opus和Gemini-1.5-Pro进行LLM性能对比测试。
• 通过固定收益、股票、货币和大宗商品的数值模拟，验证LLM生成的资本要求计算结果的数学准确性。
• 实施故障排查流程，识别并修复数学公式、法律术语、表格和脚注中的解析错误。
• 采用案例研究框架测试端到端流程：文档输入 → 提示处理 → 监管信息提取 → 数学计算。

Figure 1 : Visual representation of the process for interpreting financial regulation documents.

实验结果

研究问题

• RQ1 不同LLMs（如GPT-4、GPT-3.5、Claude-3、Gemini-1.5）在从巴塞尔协议III监管文本中提取和计算资本要求方面的表现如何？
• RQ2 文档加载格式（PDF与图像）对LLM在解读包含混合内容（文字、公式、表格、脚注）的复杂监管文档时的准确性有何影响？
• RQ3 相较于原始提示词方法，工程化提示设计在识别风险敞口类别、权重和相关性方面能多大程度上提升LLM性能？
• RQ4 在采用结构化提示词和最优输入格式的引导下，LLMs能否准确计算巴塞尔协议III市场风险框架下的最低资本要求？
• RQ5 LLMs在金融监管解读中的主要失效模式是什么？这些失效模式能否被系统性地缓解？

主要发现

• 当使用详细提示词时，GPT-4在识别风险权重方面达到100%准确率，在风险敞口分类方面达到85%准确率，显著优于原始提示词的65.5%准确率。
• 当文档以图像形式加载时，GPT-4在识别相关性方面达到96.5%准确率，而PDF格式下仅为68%，表明图像输入在视觉解析方面表现更优。
• Claude-3-Opus在图像加载下达到97.5%准确率，优于其在PDF格式下的76.5%准确率，凸显图像解析在复杂排版中的优势。
• GPT-3.5在复杂计算中完全失败，准确率为0%，尽管其正确识别了监管内容，凸显其在数学推理方面的局限性。
• Gemini-1.5-Pro在相关性识别方面达到58%准确率，表现中等，但仍远低于GPT-4在图像输入下的96.5%准确率。
• 本研究证实，提示工程与文档格式是关键影响因素——当GPT-4从PDF切换至图像输入时，其在相关性检测中的准确率从68%提升至96.5%。

Figure 2 : Detailed schematic of the Large Language Model used for financial document analysis.