[论文解读] Are LLMs Rational Investors? A Study on Detecting and Reducing the Financial Bias in LLMs

Yuhang Zhou, Yuchen Ni+8 more|arXiv (Cornell University)|Feb 20, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了金融偏见指标（FBI）框架，用于评估和减少大语言模型（LLMs）中的金融非理性行为，基于行为金融学理论评估风险偏好和认知偏见。研究发现，即使是在金融领域表现突出的大规模金融LLMs，仍存在显著的风险偏好偏见（如损失厌恶和框架效应），且往往比通用模型更严重，凸显了针对性微调和结构化提示的必要性。

ABSTRACT

Large Language Models (LLMs) are increasingly adopted in financial analysis for interpreting complex market data and trends. However, their use is challenged by intrinsic biases (e.g., risk-preference bias) and a superficial understanding of market intricacies, necessitating a thorough assessment of their financial insight. To address these issues, we introduce Financial Bias Indicators (FBI), a framework with components like Bias Unveiler, Bias Detective, Bias Tracker, and Bias Antidote to identify, detect, analyze, and eliminate irrational biases in LLMs. By combining behavioral finance principles with bias examination, we evaluate 23 leading LLMs and propose a de-biasing method based on financial causal knowledge. Results show varying degrees of financial irrationality among models, influenced by their design and training. Models trained specifically on financial datasets may exhibit more irrationality, and even larger financial language models (FinLLMs) can show more bias than smaller, general models. We utilize four prompt-based methods incorporating causal debiasing, effectively reducing financial biases in these models. This work enhances the understanding of LLMs' bias in financial applications, laying the foundation for developing more reliable and rational financial analysis tools.

研究动机与目标

• 评估LLMs在投资决策情境中的金融理性。
• 利用行为金融学原理识别并量化LLMs中的非理性偏见（如损失厌恶、框架效应和锚定效应）。
• 探究模型架构、训练数据和输入格式对金融决策偏见的影响。
• 开发一种系统性框架（FBI），用于检测和度量LLMs中的金融非理性行为。
• 通过针对性微调和输入工程，指导设计更具理性和可靠性的金融LLMs。

提出的方法

• 提出金融偏见指标（FBI）框架，从信念和风险偏好两个维度结构化金融理性。
• 基于行为金融学现象（如锚定效应、框架效应和损失厌恶）设计受控实验，以探测模型响应。
• 使用三种输入类型——直接输入、指令输入和翻译后提示——测试对语言框架和输入格式的敏感性。
• 通过将模型响应分类为风险规避型、风险中性型或风险偏好型，量化风险偏好。
• 采用源自行为金融学理论的标准金融决策任务，确保一致性和理论基础。
• 使用统计比较和一致性检查分析模型输出，以检测19个LLMs中的偏见模式。

Figure 1: An example of model irrationality.

实验结果

研究问题

• RQ1 LLMs在金融决策中在多大程度上表现出行为金融学偏见（如损失厌恶和框架效应）？
• RQ2 输入格式选择（直接、指令、翻译）在多大程度上影响LLMs的风险偏好分类？
• RQ3 金融专用LLMs（FinLLMs）是否比通用LLMs表现出更高的金融理性，还是表现出更明显的偏见？
• RQ4 模型规模和训练数据构成在多大程度上影响其在金融推理中对认知偏见的易感性？
• RQ5 结构化提示和微调能否减少LLMs中观察到的金融非理性行为？

主要发现

• GPT-4在直接输入场景下表现出最高的风险规避率（89.5%），表明存在强烈的损失厌恶偏见。
• Qwen-72B对输入框架最敏感，其在直接提示与翻译提示之间风险偏好的差异高达56.0%。
• ChatGLM3-Turbo和GLM-4分别表现出最高的损失厌恶偏见（74.0%和69.0%），表明其风险感知中存在强烈的情绪权重。
• 尽管FinQwen是金融专用模型，但在损失厌恶任务中仍表现出57.5%的风险规避率，表明领域特定训练无法消除偏见。
• 更大的模型（如GPT-4和Qwen-72B）并非始终更理性；GPT-4在不同输入格式间表现出极端不一致性，其在指令模式下有181次风险规避响应。
• 提示翻译导致风险偏好分类发生显著变化——例如，Baichuan2-7B在直接提示下67%为风险规避型，而在翻译提示下同样为67%风险规避型，但有58%为风险中性型，表明其对语言框架高度敏感。

Figure 2: The framework of FBI.