[논문 리뷰] Learning to be Homo Economicus: Can an LLM Learn Preferences from Choice

Jeongbin Kim, Matthew Kovach외 3명|arXiv (Cornell University)|2024. 01. 14.

Forecasting Techniques and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 GPT가 선택 데이터로부터 경제적 선호를 학습하고 개인화된 추천을 제공할 수 있는지 조사한다. GPT를 의사결정자 또는 추천 시스템으로 행동하게 하여 프롬프트를 제공한 결과, GPT는 기대효용 최적화와 일관되게 작동하며, 위험 회피 성향에 기반한 개인화된 추천을 제공할 수 있었지만, 실망 회피 성향을 포착하는 데에는 제한된 능력을 보이며, 데이터로부터 부분적이나마 의미 있는 학습을 이룬다.

ABSTRACT

This paper explores the use of Large Language Models (LLMs) as decision aids, with a focus on their ability to learn preferences and provide personalized recommendations. To establish a baseline, we replicate standard economic experiments on choice under risk (Choi et al., 2007) with GPT, one of the most prominent LLMs, prompted to respond as (i) a human decision maker or (ii) a recommendation system for customers. With these baselines established, GPT is provided with a sample set of choices and prompted to make recommendations based on the provided data. From the data generated by GPT, we identify its (revealed) preferences and explore its ability to learn from data. Our analysis yields three results. First, GPT's choices are consistent with (expected) utility maximization theory. Second, GPT can align its recommendations with people's risk aversion, by recommending less risky portfolios to more risk-averse decision makers, highlighting GPT's potential as a personalized decision aid. Third, however, GPT demonstrates limited alignment when it comes to disappointment aversion.

연구 동기 및 목표

• GPT가 선택 데이터로부터 선호를 학습하고 개인화된 의사결정 보조 도구로 기능할 수 있는지 평가하기.
• GPT의 행동이 드러난 선호 이론과 기대효용 최적화와 일관되는지 테스트하기.
• 표본 크기를 함수로 하여 GPT의 개인화된 추천 품질 평가하기.
• 의사결정자로서의 GPT 성능과 추천 시스템으로서의 성능 비교하기.
• 경제적 의사결정 맥락에서 LLM 평가를 위한 방법론적 프레임워크 개발하기.

제안 방법

• 위험 하에서 Choi 등(2007)의 선택 실험을 재현하고, GPT에 인간 의사결정자 또는 추천 시스템으로 응답하도록 프롬프트 제공하기.
• 기대효용 최적화와 기대효용 최적화와의 일관성 테스트를 위해 드러난 선호 기법 사용하기.
• Afriat(1967)와 Echenique 등(2023)의 방법을 사용하여 GPT의 응답에서 선호 매개변수를 매개변수적으로 복원하기.
• 인간 피실험자로부터의 시뮬레이션된 선택 데이터를 GPT에 제공하여 선호를 추론하고 개인화된 추천을 제공할 수 있는지 평가하기.
• 제공된 선택 데이터셋 크기를 다양하게 조절(1~175개 샘플)하여 개인화 정확도와 크기 간의 트레이드오프 측정하기.
• 산점도와 회귀 분 析를 통해 GPT의 추천 행동을 진짜 인간의 위험 회피 성향 매개변수와 비교하기.

실험 결과

연구 질문

• RQ1 GPT가 의사결정자로 프롬프트된 경우, 선택이 기대효용 최적화 이론과 일관되는가?
• RQ2 GPT가 추천 시스템으로 행동할 때, 소규모 선택 데이터 세트에서 개인의 위험 회피 성향을 얼마나 잘 학습하고 반영할 수 있는가?
• RQ3 GPT의 개인화된 추천 능력은 선택 데이터의 샘플 크기가 증가함에 따라 향상되는가?
• RQ4 GPT의 추천 행동은 위험 회피 성향과 실망 회피 성향을 얼마나 잘 반영하여 인간의 선호와 일치하는가?
• RQ5 간단한 프롬프트만으로 GPT가 피드백 튜닝이나 선호 구조에 대한 명시적 지시 없이도 경제적 선호를 학습할 수 있는가?

주요 결과

• GPT가 의사결정자로 행동할 경우, 드러난 선호 분 析를 통해 기대효용 최적화와 일관되게 작동함을 확인함.
• 추천 시스템으로 행동할 경우, 유추된 위험 회피 성향에 기반한 포트폴리오 추천을 성공적으로 개인화함. 성능은 표본 크기가 증가함에 따라 뚜렷이 향상됨.
• 단 한 개의 선택 샘플만으로도 GPT의 추천은 의미 있는 개인화를 보이지 않음(회귀 계수 = 0.002, p = 0.960), 하지만 더 큰 데이터셋을 사용할수록 성능 향상 뚜렷함.
• 진짜 인간의 위험 회피 성향과 GPT가 추정한 위험 회피 성향 간의 회귀선 기울기는 표본 크기가 증가함에 따라 증가하여 데이터로부터 강한 학습이 이루어짐을 시사함.
• GPT는 실망 회피 성향을 충분히 포착하지 못하여 고차원적 위험 선호의 모델링에 한계가 있음.
• GPT-4는 GPT-3.5-turbo보다 안정성과 개인화 능력에서 뛰어나, 모델 크기와 아키텍처가 성능에 상당한 영향을 미침을 시사함.