[논문 리뷰] Are LLMs Rational Investors? A Study on Detecting and Reducing the Financial Bias in LLMs

Yuhang Zhou, Yuchen Ni외 8명|arXiv (Cornell University)|2024. 02. 20.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 행동 금융학 이론을 활용하여 위험 선호도와 인지 편향을 평가함으로써 대규모 언어 모델(LM)의 금융 비합리성 평가 및 감소를 위한 금융 편향 지표(FBI) 프레임워크를 제안한다. 조사 결과, 심지어 대규모 금융 전용 LLM조차도 손실 회피와 프레임 효과 등 심각한 위험 선호도 편향을 보이며, 일반 모델보다 악화되는 경우가 많아, 대상별 피지컬 튜닝과 체계적 프롬프팅의 필요성을 드러낸다.

ABSTRACT

Large Language Models (LLMs) are increasingly adopted in financial analysis for interpreting complex market data and trends. However, their use is challenged by intrinsic biases (e.g., risk-preference bias) and a superficial understanding of market intricacies, necessitating a thorough assessment of their financial insight. To address these issues, we introduce Financial Bias Indicators (FBI), a framework with components like Bias Unveiler, Bias Detective, Bias Tracker, and Bias Antidote to identify, detect, analyze, and eliminate irrational biases in LLMs. By combining behavioral finance principles with bias examination, we evaluate 23 leading LLMs and propose a de-biasing method based on financial causal knowledge. Results show varying degrees of financial irrationality among models, influenced by their design and training. Models trained specifically on financial datasets may exhibit more irrationality, and even larger financial language models (FinLLMs) can show more bias than smaller, general models. We utilize four prompt-based methods incorporating causal debiasing, effectively reducing financial biases in these models. This work enhances the understanding of LLMs' bias in financial applications, laying the foundation for developing more reliable and rational financial analysis tools.

연구 동기 및 목표

• LLM의 투자 의사결정 맥락에서의 금융 이성성 평가
• 행동 금융학 원리를 활용해 손실 회피, 프레임 효과, 앵커링 등 비합리적 편향의 규명 및 정량화
• 모델 아키텍처, 훈련 데이터, 입력 형식이 금융 의사결정 편향에 미치는 영향 탐구
• LLM의 금융 비합리성 탐지 및 측정을 위한 체계적 프레임워크(FBI) 개발
• 대상별 피지컬 튜닝과 입력 엔지니어링을 통한 더 이성적이고 신뢰할 수 있는 금융 LLM 설계 지침 제공

제안 방법

• 금융 이성성의 두 차원인 신념과 위험 선호도를 기반으로 한 금융 편향 지표(FBI) 프레임워크 제안
• 앵커링, 프레임 효과, 손실 회피와 같은 행동 금융 현상에 기반한 통제된 실험 설계를 통해 모델 반응 분석
• 직접 입력, 지시형 입력, 번역된 프롬프트의 세 가지 입력 유형을 활용해 언어적 프레임 효과 및 입력 형식 민감도 테스트
• 다양한 시나리오에서 모델 반응을 위험 회피형, 위험 중립형, 위험 추구형으로 분류하여 위험 선호도 정량화
• 행동 금융학 이론에 기반한 표준화된 금융 의사결정 과제를 활용해 일관성과 이론적 기반 확보
• 통계적 비교 및 일관성 검증을 통해 19개의 LLM에서 편향 패턴 탐지 분석

Figure 1: An example of model irrationality.

실험 결과

연구 질문

• RQ1 LLM은 금융 의사결정 맥락에서 손실 회피 및 프레임 효과와 같은 행동 금융 편향을 어느 정도 보이는가?
• RQ2 입력 형식(직접 입력, 지시형, 번역된 프롬프트)의 선택이 LLM의 위험 선호도 분류에 어떤 영향을 미치는가?
• RQ3 금융 전용 LLM(FinLLMs)은 일반 목적 LLM보다 더 높은 금융 이성성을 보이는가, 아니면 더 뚜렷한 편향을 보이는가?
• RQ4 모델 규모와 훈련 데이터 구성은 금융 추론에서 인지 편향에 대한 민감도에 어떤 영향을 미치는가?
• RQ5 체계적 프롬프팅과 피지컬 튜닝은 관찰된 금융 비합리성을 감소시킬 수 있는가?

주요 결과

• GPT-4는 직접 입력 시나리오에서 가장 높은 위험 회피율(89.5%)을 보이며 강력한 손실 회피 편향을 나타냄.
• Qwen-72B는 입력 프레임에 가장 민감하며, 직접 입력과 번역된 프롬프트 간 위험 선호도 차이가 56.0%에 달함.
• ChatGLM3-Turbo와 GLM-4는 각각 74.0%와 69.0%의 가장 높은 손실 회피 편향을 보이며, 위험 인식에 강한 감정적 가중치가 작용함을 시사함.
• FinQwen는 금융 전용 모델임에도 불구하고 손실 회피 과제에서 57.5%의 위험 회피율을 보이며 도메인 특화 훈련이 편향을 완전히 제거하지 못함을 시사함.
• GPT-4와 Qwen-72B와 같은 대규모 모델이라도 항상 더 이성적인 것은 아니며, GPT-4는 지시형 입력 모드에서 181건의 위험 회피 반응을 보이며 극심한 일관성 부족을 보임.
• 프롬프트 번역은 위험 선호도 분류에 심각한 영향을 미치며, 예를 들어 Baichuan2-7B는 직접 입력 시 67% 위험 회피였지만 번역 입력 시에도 67% 위험 회피였고, 동시에 58% 위험 중립으로 나타나 언어적 프레임 효과에 매우 민감함을 보임.

Figure 2: The framework of FBI.