[論文レビュー] Can GPT models be Financial Analysts? An Evaluation of ChatGPT and GPT-4 on mock CFA Exams

Ethan Callanan, Amarachi B. Mbakwe+7 more|arXiv (Cornell University)|Oct 12, 2023

Artificial Intelligence in Healthcare and Education被引用数 17

ひとこと要約

This study evaluates ChatGPT and GPT-4 on CFA Level I/II mock exams under zero-shot, chain-of-thought, and few-shot prompting, estimates pass chances, analyzes limitations, and suggests strategies to improve financial reasoning in LLMs.

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable performance on a wide range of Natural Language Processing (NLP) tasks, often matching or even beating state-of-the-art task-specific models. This study aims at assessing the financial reasoning capabilities of LLMs. We leverage mock exam questions of the Chartered Financial Analyst (CFA) Program to conduct a comprehensive evaluation of ChatGPT and GPT-4 in financial analysis, considering Zero-Shot (ZS), Chain-of-Thought (CoT), and Few-Shot (FS) scenarios. We present an in-depth analysis of the models' performance and limitations, and estimate whether they would have a chance at passing the CFA exams. Finally, we outline insights into potential strategies and improvements to enhance the applicability of LLMs in finance. In this perspective, we hope this work paves the way for future studies to continue enhancing LLMs for financial reasoning through rigorous evaluation.

研究の動機と目的

• CFA 模擬試験の問題に対する大規模言語モデルの金融推論能力を評価する。
• Zero-Shot、Chain-of-Thought、Few-Shot prompting 設定下で ChatGPT と GPT-4 を比較する。
• 異なる prompts の下で各モデルの CFA Level I および Level II 合格確率を推定する。
• エラーモードとトピック別の強み/弱みを分析し、金融推論の改善に役立てる。
• ツール統合や retrieval-augmented アプローチを含む、金融のための LLM の強化戦略を提案する。

提案手法

• 評価データセットとして CFA Level I (5 mock exams) および Level II (2 mock exams) を用いる。
• prompting paradigms を検証する: Zero-Shot、Chain-of-Thought、Few-Shot（さまざまな shot 選択戦略を用いて）。
• 温度をゼロに設定してランダム性を低減する形で、OpenAI ChatCompletion API（gpt-3.5-turbo および GPT-4）を適用する。
• 問題がトレーニングデータに含まれていないことを確認するための memorization チェックを実施する。
• 公式解答セットに対する正確性を唯一の評価指標として測定する。
• トピック別およびレベル別の性能、エラーモード、潜在的な改善点を議論する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT と GPT-4 は prompting paradigms の下で CFA Level I および Level II の問題でどう性能を示すか？
• RQ2 CoT prompting または Few-Shots prompting は性能を大幅に改善するか、どの条件下でそうなるのか？
• RQ3 提案された基準の下で、これらのモデルは CFA Level I および Level II を合格する可能性があるか？
• RQ4 金融推論におけるモデルの主要なエラーモードとトピック別の強み/弱みは何か？

主な発見

• GPT-4 は一般的にトピックとレベル、プロンプトの違いを越えて ChatGPT よりも優れている。
• Level II は長いプロンプトと表に基づく計算が増えるため、Level I より難易度が高い。
• CoT prompting は限定的な改善をもたらす；GPT-4 では Level II でより効果的だが、ChatGPT では Level I で害になる場合がある。
• Few-Shot prompting は顕著な改善をもたらし、2S/10S はレベルとモデルに応じて強力なパフォーマンスを示す。
• 提案された合格基準の下で、GPT-4 は Few-Shot および/または CoT prompting で Level I および Level II を合格する可能性がある一方、ChatGPT はより低い可能性。
• 一般的なエラーモードには知識ギャップ、計算ミス、一貫性の欠如があり、CoT は一部のケースで知識ギャップを拡大することがある。