[논문 리뷰] LLM economicus? Mapping the Behavioral Biases of LLMs via Utility Theory

J. C. Ross, Yoon-Ji Kim외 1명|arXiv (Cornell University)|2024. 08. 05.

Private Equity and Venture CapitalBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 행동경제학에서의 고전적 실험 게임을 활용해 대규모 언어모델(Large Language Models, LLMs)의 경제적 행동 편향을 정량화하고 비교하기 위한 유틸리티 이론 기반 프레임워크를 제안한다. LLMs는 인간과 이성적 경제 주체 사이에서 일관성 없고 중간 정도의 행동을 보이며, 손실 회피 성향은 약하고 시간 할인율은 높은 편이다. 또한 프롬프팅 간섭 조치는 종종 예측 불가능한 결과를 낳으며, LLMs의 경제적 의사결정 지원을 위한 정렬 과정에서의 과제를 드러낸다.

ABSTRACT

Humans are not homo economicus (i.e., rational economic beings). As humans, we exhibit systematic behavioral biases such as loss aversion, anchoring, framing, etc., which lead us to make suboptimal economic decisions. Insofar as such biases may be embedded in text data on which large language models (LLMs) are trained, to what extent are LLMs prone to the same behavioral biases? Understanding these biases in LLMs is crucial for deploying LLMs to support human decision-making. We propose utility theory-a paradigm at the core of modern economic theory-as an approach to evaluate the economic biases of LLMs. Utility theory enables the quantification and comparison of economic behavior against benchmarks such as perfect rationality or human behavior. To demonstrate our approach, we quantify and compare the economic behavior of a variety of open- and closed-source LLMs. We find that the economic behavior of current LLMs is neither entirely human-like nor entirely economicus-like. We also find that most current LLMs struggle to maintain consistent economic behavior across settings. Finally, we illustrate how our approach can measure the effect of interventions such as prompting on economic biases.

연구 동기 및 목표

• 대규모 언어모델(Large Language Models, LLMs)이 인간이 생성한 훈련 데이터로부터 행동 편향을 이행하는지, 특히 경제적 의사결정 맥락에서 그러한 경향이 있는지 평가하는 것.
• 유틸리티 이론을 활용해 LLMs의 경제적 행동을 정량화하고 인간 기준 및 이성적 경제 모델과 비교할 수 있는 체계적이고 행동 기반의 평가 프레임워크를 개발하는 것.
• 체인 오브 씽크(Chain-of-Thought) 및 소수 샘플 프롬프팅과 같은 프롬프팅 기법이 LLMs의 특정 경제적 편향 완화 또는 악화에 미치는 영향을 조사하는 것.
• 다양한 경제적 맥락에서 LLMs 행동의 일관성 여부를 점검하고 인간 유사 행동 및 이성적 경제 행동에서의 이탈을 매핑하는 것.
• 금융 및 의사결정 지원 응용 분야에서 LLMs의 신뢰성과 신뢰성을 높이기 위한 향후 정렬 전략의 기초를 마련하는 것.

제안 방법

• 행동경제학에서의 고전적 실험 게임—예를 들어, 유령의 게임, 독재자의 게임, 신뢰의 게임—을 텍스트 기반 프롬프트로 변환하여 LLM의 반응을 유도한다.
• 응답 분포를 샘플링하기 위해 반복적 프롬프팅(N회/게임 턴)을 적용하고, LLM 행동을 모델링하는 유틸리티 함수를 피팅한다.
• 유틸리티 이론을 적용해 경제적 편향을 정량화한다: 불평등 회피, 위험 및 손실 회피, 하이퍼볼릭 시간 할인, 인간 실험 데이터에서 유도된 수학적 함수를 활용한다.
• 행동 분석 이전에 LLMs가 게임 규칙을 정확히 해석하고 응답할 수 있는지 확인하기 위해 능력 테스트를 수행한다.
• 원래 행동경제학 연구에서 유도된 인간 참가자들의 유틸리티 함수와 비교하여 LLM의 유틸리티 함수의 일치도 및 이탈 정도를 평가한다.
• 다양한 맥락에서 유틸리티 함수 매개수의 변화를 측정하여 체인 오브 씽크 및 소수 샘플 프롬프팅과 같은 프롬프팅 간섭 조치가 LLM 행동에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 LLMs는 인간과 유사하게 불평등 회피, 손실 회피, 시간 할인 등의 행동 편향을 얼마나 보이는가?
• RQ2 LLMs의 경제적 행동은 이성적 경제 주체(homo economicus)와 비교해 어떻게 다른가?
• RQ3 체인 오브 씽크나 소수 샘플 프롬프팅과 같은 프롬프팅 기법이 LLMs의 경제적 편향을 일관되게 감소시키거나 수정할 수 있는가?
• RQ4 LLMs는 다양한 의사결정 맥락에서 일관된 경제적 행동을 유지하는가?
• RQ5 고전적 경제 게임에서 LLMs의 인간 유틸리티 함수에서의 주요 이탈 요소는 무엇인가?

주요 결과

• LLMs는 이성적 경제 주체(homo economicus)이거나 완전히 인간과 같은 행동을 하지 않으며, 오히려 체계적인 이탈을 보이는 하이브리드 형태의 경제 행동을 보인다.
• LLMs는 인간보다 손실 회피 성향이 더 약해 의사결정 과정에서 잠재적 손실에 덜 민감하다.
• LLMs는 인간보다 더 강한 시간 할인율을 보이며, 향후 수익보다 즉각적인 보상에 더 큰 선호를 보인다.
• LLMs는 자신보다는 타인에 대해 더 강한 불평등 회피 성향을 보이며, 사회적 의사결정에서 일부 공익적 편향을 보인다.
• 대부분의 LLMs는 다양한 게임 맥락에서 일관된 경제적 행동을 유지하지 못해 의사결정 프레임워크의 불안정성을 보인다.
• 체인 오브 씽크 및 소수 샘플 프롬프팅과 같은 프롬프팅 간섭 조치는 종종 LLM 행동을 변화시켜도 예측 불가능하거나 일관성 없는 결과를 낳으며, 이는 정렬 도구로서의 신뢰성을 제한한다.