[論文レビュー] Financial Knowledge Large Language Model

Cehao Yang, Chengjin Xu+1 more|arXiv (Cornell University)|Jun 29, 2024

Stock Market Forecasting Methods被引用数 5

ひとこと要約

本論文は、金融知識評価のための IDEA-FinBench、retrieval-based および instruction-based 知識注入による LLM の金融ドメイン適応を実現する IDEA-FinKER、リアルタイムの知識強化を組み込んだ金融質問応答を提供する IDEA-FinQA を提案する。

ABSTRACT

Artificial intelligence is making significant strides in the finance industry, revolutionizing how data is processed and interpreted. Among these technologies, large language models (LLMs) have demonstrated substantial potential to transform financial services by automating complex tasks, enhancing customer service, and providing detailed financial analysis. Firstly, we introduce IDEA-FinBench, an evaluation benchmark specifically tailored for assessing financial knowledge in large language models (LLMs). This benchmark utilizes questions from two globally respected and authoritative financial professional exams, aimimg to comprehensively evaluate the capability of LLMs to directly address exam questions pertinent to the finance sector. Secondly, we propose IDEA-FinKER, a Financial Knowledge Enhancement framework designed to facilitate the rapid adaptation of general LLMs to the financial domain, introducing a retrieval-based few-shot learning method for real-time context-level knowledge injection, and a set of high-quality financial knowledge instructions for fine-tuning any general LLM. Finally, we present IDEA-FinQA, a financial question-answering system powered by LLMs. This system is structured around a scheme of real-time knowledge injection and factual enhancement using external knowledge. IDEA-FinQA is comprised of three main modules: the data collector, the data querying module, and LLM-based agents tasked with specific functions.

研究の動機と目的

• CFA および CPA の試験問題を用いて、16分野にわたる中国語と英語での LLM の金融知識を評価する。
• リアルタイムの金融文脈を LLM に注入する retrieval-based の few-shot フレームワークを開発する（ソフトインジェクション）。
• 汎用 LLM を微調整するための金融知識命令のハードインジェクションセットを提供する。
• リアルタイム知識注入とモジュール型データ収集/問い合わせを備えた金融QAシステム（IDEA-FinQA）を作成する。
• モジュール式評価と多言語プロンプト機能を備えた適応可能なベンチマークスイートを提供する。

提案手法

• 16分野にわたる中国語/英語の CFA および CPA の問題を用いて IDEA-FinBench を導入する。
• 埋め込み型検索を用いて LLM に対するリアルタイム文脈のソフトインジェクションを支援する（IDEA-FinKER）。
• LLM へ知識をハードインジェクションするための金融知識命令の厳選セットを提供する。
• データ収集機、データ照会モジュール、そして4つのLLMベースのエージェント（クエリ書き換え、意図検出、抽出/精練、応答生成）を備えた IDEA-FinQA を設計する。
• 外部知識源と RAG を活用して幻覚を減らし、事実的な地盤を強化する。

実験結果

リサーチクエスチョン

• RQ1 LLM は複数の分野にわたる CFA/CPA の金融試験問題を中国語と英語で直接解答できるか？
• RQ2 retrieval-based, few-shot knowledge injection は LLM の金融的推論と正確性を向上させるか？
• RQ3 構造化された金融知識命令（ハードインジェクション）は、ドメイン特化型の LLM の性能を向上させるか？
• RQ4 外部知識ベースを介したリアルタイム知識注入は、金融QAの性能を向上させ、幻覚を減らすか？

主な発見

• IDEA-FinBench は CFA/CPA の問題を基盤とする 16 分野のベンチマークを提供し、モジュラーで跨言語の評価をサポートする。
• IDEA-FinKER は IDEA-FinBench で専門家レベルの性能を大幅に向上させ、特に中国語 CPAスタイルの問題で顕著である。
• ソフトインジェクティング型のリトリーバルベースのパラダムは、一般的な LLM に対するリアルタイムの文脈知識強化を可能にする。
• 金融知識命令セットを用いたハードインジェクションのパラダイムは、ドメイン特化の微調整を支援する。
• IDEA-FinQA は、リアルタイム知識と外部データを活用して事実的正確性を高める三モジュールのQAシステムを示す。