[論文レビュー] FinEval: A Chinese Financial Domain Knowledge Evaluation Benchmark for Large Language Models

Xin Guo, Xia, Haotian+15 more|arXiv (Cornell University)|Aug 19, 2023

Topic Modeling被引用数 10

ひとこと要約

FinEvalは、中国の金融ドメインMCQベンチマークで、4カテゴリ（金融, 経済, 会計, 資格）を合計4,661問含み、ゼロショット/少数-shotおよび回答のみ/チェーン・オブ・ソートプロンプトの下で多数のLLMを評価し、GPT-4が約70%の精度に最も近いことを発見しました。

ABSTRACT

Large language models have demonstrated outstanding performance in various natural language processing tasks, but their security capabilities in the financial domain have not been explored, and their performance on complex tasks like financial agent remains unknown. This paper presents FinEval, a benchmark designed to evaluate LLMs' financial domain knowledge and practical abilities. The dataset contains 8,351 questions categorized into four different key areas: Financial Academic Knowledge, Financial Industry Knowledge, Financial Security Knowledge, and Financial Agent. Financial Academic Knowledge comprises 4,661 multiple-choice questions spanning 34 subjects such as finance and economics. Financial Industry Knowledge contains 1,434 questions covering practical scenarios like investment research. Financial Security Knowledge assesses models through 1,640 questions on topics like application security and cryptography. Financial Agent evaluates tool usage and complex reasoning with 616 questions. FinEval has multiple evaluation settings, including zero-shot, five-shot with chain-of-thought, and assesses model performance using objective and subjective criteria. Our results show that Claude 3.5-Sonnet achieves the highest weighted average score of 72.9 across all financial domain categories under zero-shot setting. Our work provides a comprehensive benchmark closely aligned with Chinese financial domain.

研究の動機と目的

• 包括的なベンチマークで中国語LLMの金融ドメイン一般知識能力を評価する。
• 4つのカテゴリ（金融、経済、会計、資格）を取り扱い、データは模擬試験と教科書から得る。
• ゼロショット、少数ショット、回答のみ、チェーン・オブ・ソートを含む複数のプロンプト方式でモデルを評価する。
• 中国語金融LLMの開発を促進するためのベースラインと公開リーダーボードを提供する。

提案手法

• Finance, Economy, Accounting, Certificateの34科目にまたがる4,661問の択一問題でFinEvalを構築する。
• 4つのプロンプト方式を使用: zero-shot AO、zero-shot CoT、five-shot AO、five-shot CoT。
• すべての問題を4択形式に変換し、必要に応じて読みやすさのために英語翻訳を提供する。
• データを開発用、検証用、テスト用に手動で精練・整理し、LaTeX向けの構造化フォーマットで提供する。
• 中国語対応LLM27モデルを広範に評価し、各モデルの最良設定での精度を報告する。

実験結果

リサーチクエスチョン

• RQ1 FinEvalにおけるドメイン特化型金融知識に対する最先端の中国語および英語LLMの性能はどの程度か？
• RQ2 異なるプロンプト方式（AO対CoT、ゼロショット対少数ショット）は中国語の金融タスクの性能にどう影響するか？
• RQ3 金融、経済、会計、資格の各領域で、中国語金融ドメイン知識を最も適切に扱えるモデル（サイズとアーキテクチャ別）はどれか？
• RQ4 中国語の金融領域MCQにおいてチェーン・オブ・ソウトプロンプティングは有益か、どの条件下で有益か？

主な発見

モデル	サイズ	金融	経済	会計	資格	平均
GPT-4	unknown	71.0	74.5	59.3	70.4	68.6
ChatGPT	175B	59.3	61.6	45.2	55.1	55.0
Qwen-7B	7B	54.5	54.4	50.3	55.8	53.8
Qwen-Chat-7B	7B	51.5	52.1	44.5	53.6	50.5
Baichuan-13B-Base	13B	52.6	50.2	43.4	53.5	50.1
Baichuan-13B-Chat	13B	51.6	51.1	41.7	52.8	49.4
ChatGLM2-6B	6B	46.5	46.4	44.5	51.5	47.4
InternLM-7B	7B	49.0	49.2	40.5	49.4	47.1
InternLM-Chat-7B	7B	48.4	49.1	40.8	49.5	47.0
LLaMA-2-Chat-70B	70B	47.1	46.7	41.5	45.7	45.2
Falcon-40B	40B	45.4	43.2	35.8	44.8	42.4
Baichuan-7B	7B	44.9	41.5	34.9	45.6	42.0
LLaMA-2-Chat-13B	13B	41.6	38.4	34.1	42.1	39.3
Ziya-LLaMA-13B-v1	13B	43.3	36.9	34.3	41.2	39.3
Bloomz-7b1-mt	7B	41.4	42.1	32.5	39.7	38.8
LLaMA-2-13B	13B	39.5	38.6	31.6	39.6	37.4
ChatGLM-6B	6B	38.8	36.2	33.8	39.1	37.2
Chinese-Llama-2-7B	7B	37.8	37.8	31.4	36.7	35.9
Chinese-Alpaca-Plus-7B	7B	30.5	33.4	32.7	38.5	34.0
moss-moon-003-sft	16B	35.6	34.3	28.7	35.6	33.7
LLaMA-2-Chat-7B	7B	35.6	31.8	31.9	34.0	33.5
LLaMA-2-7B	7B	34.9	36.4	31.4	31.6	33.4
AquilaChat-7B	7B	34.2	31.3	29.8	36.2	33.1
moss-moon-003-base	16B	32.2	33.1	29.2	30.7	31.2
Aquila-7B	7B	27.1	31.6	32.4	33.6	31.2
LLaMA-13B	13B	33.1	29.7	27.2	33.6	31.1
Falcon-7B	7B	28.5	28.2	27.5	27.4	27.9
Out of the 27 models	-	-	-	-	-	-

• GPT-4はカテゴリ間で最も高い平均精度を達成（全体 ~68.6%、いくつかのカテゴリで約70%近い）。
• 27モデルの中で、GPT-4は他をしばしば上回り、ChatGPTは平均精度約55.0%で2位。
• Qwen-7B, Qwen-Chat-7B, Baichuan-13B-Base/Chat などの中国語LLMは平均精度が約50%を超えるが、チェーン・オブ・ソートの prompting では性能が低下する。
• モデル全体で、チェーン・オブ・ソート設定の平均精度は回答のみ設定より低く、CoTが必ずしも有益とは限らないことを示唆している。
• 同一ファミリー内でモデルが大きくなるほど性能は一般に向上するが、カテゴリごとに利得は異なる。
• FinEvalの結果は、現行のLLMにおける中国語金融ドメイン能力の大幅な改善余地を示している。