[论文解读] Deficiency of Large Language Models in Finance: An Empirical Examination of Hallucination

Haoqiang Kang, Xiao-Yang Liu|arXiv (Cornell University)|Nov 27, 2023

Stock Market Forecasting Methods被引用 5

一句话总结

本文通过实证研究探讨了大型语言模型（LLMs）在金融领域中的幻觉现象，评估其在解释金融概念和查询历史股价方面的准确性。研究发现，现成的 LLMs 存在严重幻觉问题，但基于提示的工具学习和 RAG 显著提升了事实准确性，其中工具增强的模型在股价查询中实现了 100% 的准确率。

ABSTRACT

The hallucination issue is recognized as a fundamental deficiency of large language models (LLMs), especially when applied to fields such as finance, education, and law. Despite the growing concerns, there has been a lack of empirical investigation. In this paper, we provide an empirical examination of LLMs' hallucination behaviors in financial tasks. First, we empirically investigate LLM model's ability of explaining financial concepts and terminologies. Second, we assess LLM models' capacity of querying historical stock prices. Third, to alleviate the hallucination issue, we evaluate the efficacy of four practical methods, including few-shot learning, Decoding by Contrasting Layers (DoLa), the Retrieval Augmentation Generation (RAG) method and the prompt-based tool learning method for a function to generate a query command. Finally, our major finding is that off-the-shelf LLMs experience serious hallucination behaviors in financial tasks. Therefore, there is an urgent need to call for research efforts in mitigating LLMs' hallucination.

研究动机与目标

• 通过实证方法检验 LLM 在金融任务中，特别是在解释金融术语和查询历史股价时的幻觉现象。
• 评估现成 LLM 在处理时间敏感、事实精确的金融查询时的可靠性。
• 评估四种缓解策略—— few-shot prompting、DoLa 解码、RAG 和基于提示的工具学习——在减少幻觉方面的有效性。
• 证明幻觉仍是将 LLM 部署于现实金融应用中的关键障碍，除非配备外部事实核查机制。
• 倡导针对幻觉缓解的针对性研究，以确保高风险金融 AI 系统的事实可靠性。

提出的方法

• 通过零样本和 few-shot prompting 方式，对 LLM 解释金融概念和术语的能力进行实证评估。
• 设计了一个基准任务，以测试 LLM 在使用真实查询时检索历史股价的准确性。
• 评估四种缓解技术：few-shot prompting、通过对比层解码（DoLa）、检索增强生成（RAG），以及用于函数调用生成的基于提示的工具学习。
• 实施基于提示的工具学习，使 LLM 能够生成正确的 API 查询以访问最新的金融数据。
• 采用零样本和 few-shot 设置，比较不同 LLM（包括 Llama2-7B、Llama2-13B、GPT-3.5-turbo 和 GPT-4）的性能表现。
• 通过模型输出与真实答案之间的精确匹配评估事实准确性。

实验结果

研究问题

• RQ1 当解释金融概念和术语时，现成的 LLM 在多大程度上会出现幻觉？
• RQ2 在缺乏外部工具或检索机制的情况下，LLMs 在多大程度上能准确检索历史股价？
• RQ3 few-shot prompting、DoLa 解码、RAG 和基于提示的工具学习在减少金融 LLM 任务中幻觉方面的有效性如何？
• RQ4 基于提示的工具学习能否在金融查询任务中实现近乎完美的准确率？与其他方法相比表现如何？
• RQ5 DoLa 和 few-shot prompting 在解决与金融数据相关知识缺口方面的局限性是什么？

主要发现

• 现成的 LLM 在金融任务中表现出严重的幻觉现象，其在解释金融术语和检索股价方面存在显著的事实性错误。
• Llama2-7B 和 Llama2-7B-chat 模型在无外部工具支持的零样本股价查询中准确率接近于零，凸显其在事实性任务中的不可靠性。
• 基于提示的工具学习使 Llama2-7B 和 Llama2-7B-chat 模型在仅使用一个示例（one-shot）的情况下，股价查询准确率达到 100.00%，证明其具有极高的有效性。
• GPT-3.5-turbo 和 GPT-4 在零样本模式下无法回答股价查询，但通过基于提示的工具学习增强后，准确率达到完美水平。
• Few-shot prompting 虽提升了问答格式的遵循度，但并未显著提升事实准确性，表明其对减少幻觉的影响有限。
• DoLa 解码在事实准确性方面仅表现出有限提升，尤其当模型在其预训练数据中缺乏足够知识（如特定股票代码信息）时更为明显。