[論文レビュー] Large Language Model in Financial Regulatory Interpretation

Zhiyu Cao, Zachary Feinstein|arXiv (Cornell University)|May 10, 2024

FinTech, Crowdfunding, Digital Finance被引用数 4

ひとこと要約

本稿では、GPT-4 などの大規模言語モデル（LLM）を用いて、複雑な金融規制、特にバセルIII市場リスク規則を解釈するための体系的フレームワークを提案する。正確なプロンプト設計と文書読み込み手法の最適化を通じて、GPT-4 は相関関係の特定で96.5%、バケット分類で85%の正確性を達成し、ナチュラルプロンプトや他のLLMと比較して顕著に優れた性能を示した。

ABSTRACT

This study explores the innovative use of Large Language Models (LLMs) as analytical tools for interpreting complex financial regulations. The primary objective is to design effective prompts that guide LLMs in distilling verbose and intricate regulatory texts, such as the Basel III capital requirement regulations, into a concise mathematical framework that can be subsequently translated into actionable code. This novel approach aims to streamline the implementation of regulatory mandates within the financial reporting and risk management systems of global banking institutions. A case study was conducted to assess the performance of various LLMs, demonstrating that GPT-4 outperforms other models in processing and collecting necessary information, as well as executing mathematical calculations. The case study utilized numerical simulations with asset holdings -- including fixed income, equities, currency pairs, and commodities -- to demonstrate how LLMs can effectively implement the Basel III capital adequacy requirements. Keywords: Large Language Models, Prompt Engineering, LLMs in Finance, Basel III, Minimum Capital Requirements, LLM Ethics

研究の動機と目的

• GPT-4 や GPT-3.5 などの大規模言語モデル（LLM）を用いて、バセルIIIのような極めて複雑で冗長な金融規制を解釈する課題に対処すること。
• LLM が金融規制解釈において直面する主な制約要因、特に数学的推論能力の不足とプロンプト設計への感受性を同定・軽減すること。
• 規制要件の抽出におけるLLMの正確性を向上させるための、プロンプト工学と文書読み込みの体系的フレームワークを開発すること。
• GPT-4、GPT-3.5、Claude-3、Gemini-1.5 といった複数のLLMの規制テキスト解釈タスクにおける性能を評価・比較すること。
• 実際の資産保有を想定したケーススタディを通じて、バセルIIIの市場リスクに対する最低資本要件を対象に、フレームワークを検証すること。

提案手法

• 規制要件の主要要素（例：リスクバケット、重み、相関関係）を統合した構造的プロンプト工学手法を設計し、LLM が正確な解釈に到達するよう誘導した。
• PDF と画像入力の両方を用いて、規制文書の読み込み手法を比較評価し、画像形式の視覚的解析の利点を活用した。
• 手作業でキュレートされたバセルIII規制テキストのデータセットを用い、GPT-3.5、GPT-4、Claude-3-Opus、Gemini-1.5-Pro の間でLLMの性能を比較した。
• 固定利回り証券、株式、為替、商品の数値シミュレーションを実施し、LLM が生成する資本要件計算の数学的正確性を検証した。
• 数式、法的用語、表、脚注のパースングエラーを特定・是正するためのトラブルシューティングプロセスを適用した。
• エンドツーエンドのパイプラインをテストするためのケーススタディフレームワークを採用：文書入力 → プロンプト処理 → 規制要件抽出 → 数学的計算。

Figure 1 : Visual representation of the process for interpreting financial regulation documents.

実験結果

リサーチクエスチョン

• RQ1 GPT-4 や GPT-3.5、Claude-3、Gemini-1.5 といった異なるLLMは、バセルIII規制テキストから資本要件を抽出・計算する際に、どの程度の性能を示すか？
• RQ2 PDF と画像の文書読み込み形式の違いは、テキスト、数式、表、脚注を含む混合コンテンツを含む複雑な規制文書の解釈におけるLLMの正確性に、どのような影響を与えるか？
• RQ3 ナチュラルプロンプトと比較して、エンジニアリングされたプロンプト設計は、リスクバケット、重み、相関関係の特定におけるLLM性能をどの程度向上させるか？
• RQ4 構造的プロンプトと最適な入力形式で誘導された場合、LLM はバセルIII市場リスクフレームワーク下での最低資本要件を正確に計算できるか？
• RQ5 LLM が金融規制解釈において直面する主な失敗モードは何か。それらは体系的にどのように是正できるか？

主な発見

• 詳細なプロンプトを用いたGPT-4は、リスク重みの特定で100%の正確性を達成し、ナチュラルプロンプトの65.5%と比較して顕著に優れた性能を示した。
• 画像形式で文書を読み込んだ場合、GPT-4は相関関係の特定で96.5%の正確性を達成したのに対し、PDF形式では68%にとどまり、視覚的入力の利点が顕著に現れた。
• Claude-3-Opusは画像読み込みで97.5%の正確性を示し、PDF形式の76.5%と比較して顕著に優れた性能を示した。これは、複雑なレイアウトに対して画像ベースのパースングの利点が顕著であることを示している。
• GPT-3.5は複雑な計算において完全に失敗し、正しく規制内容を特定できても計算の正確性は0%であった。これは、数学的推論能力に著しい制限があることを示している。
• Gemini-1.5-Proは相関関係特定で58%の正確性を示し、中程度の性能を発揮したが、GPT-4が画像入力で達成した96.5%には及ばなかった。
• 本研究では、プロンプト工学と文書形式が極めて重要な要因であることが確認された。GPT-4の相関関係検出正確性は、PDFから画像への切り替えによって68%から96.5%に向上した。

Figure 2 : Detailed schematic of the Large Language Model used for financial document analysis.