[论文解读] Can GPT models be Financial Analysts? An Evaluation of ChatGPT and GPT-4 on mock CFA Exams

Ethan Callanan, Amarachi B. Mbakwe+7 more|arXiv (Cornell University)|Oct 12, 2023

Artificial Intelligence in Healthcare and Education被引用 17

一句话总结

本研究在零样本、链式推理和少样本提示下评估 ChatGPT 和 GPT-4 在 CFA Level I/II 模拟考试中的表现，估算通过机会，分析局限并提出在大型语言模型中改进金融推理的策略。

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable performance on a wide range of Natural Language Processing (NLP) tasks, often matching or even beating state-of-the-art task-specific models. This study aims at assessing the financial reasoning capabilities of LLMs. We leverage mock exam questions of the Chartered Financial Analyst (CFA) Program to conduct a comprehensive evaluation of ChatGPT and GPT-4 in financial analysis, considering Zero-Shot (ZS), Chain-of-Thought (CoT), and Few-Shot (FS) scenarios. We present an in-depth analysis of the models' performance and limitations, and estimate whether they would have a chance at passing the CFA exams. Finally, we outline insights into potential strategies and improvements to enhance the applicability of LLMs in finance. In this perspective, we hope this work paves the way for future studies to continue enhancing LLMs for financial reasoning through rigorous evaluation.

研究动机与目标

• 评估大型语言模型在 CFA 模拟考试题目的金融推理能力。
• 在零样本、链式推理和少样本提示设置下比较 ChatGPT 与 GPT-4。
• 在不同提示条件下估算每个模型通过 CFA Level I 与 Level II 的可能性。
• 分析错误模式及主题层面的强项/弱点，以为改进金融推理提供信息。
• 提出提升金融领域 LLM 的策略，包括工具集成和检索增强方法。

提出的方法

• 以 CFA Level I（5 套模拟考试）和 Level II（2 套模拟考试）作为评估数据集。
• 测试提示范式：零样本、链式推理和少样本（并使用各种选择策略）。
• 对 OpenAI ChatCompletion API（gpt-3.5-turbo 与 GPT-4）进行温度设为零的设置，以减少随机性。
• 进行记忆性检查，确保题目不在训练数据中。
• 以官方解答集作为唯一评估指标来衡量准确性。
• 讨论主题和难度相关的表现、错误模式及潜在改进。

实验结果

研究问题

• RQ1 在不同提示范式下，ChatGPT 与 GPT-4 在 CFA Level I 和 Level II 的题目表现如何？
• RQ2 链式推理或少样本提示是否显著提升了表现，且在何种条件下？
• RQ3 在提出的标准下，这些模型是否有可能通过 CFA Level I 和 Level II？
• RQ4 模型在金融推理方面的主导错误模式与主题相关的强项/弱点是什么？

主要发现

• GPT-4 在大多数主题、级别和提示下通常优于 ChatGPT。
• Level II 对两者都比 Level I 更难，因为提示更长且涉及更多基于表格的计算。
• CoT 提示带来有限的改进；在 Level II 上对 GPT-4 有帮助，但在 Level I 上可能会削弱 ChatGPT 的表现。
• 少样本提示带来显著提升，2S/10S 的表现取决于级别和模型。
• 在提出的通过标准下，GPT-4 在少样本和/或 CoT 提示下有通过 Level I 与 Level II 的可行机会，而 ChatGPT 的通过可能性较低。
• 常见错误模式包括知识空缺、计算错误和不一致性；CoT 在某些情况下可能放大知识空缺。