[논문 리뷰] GPT in Game Theory Experiments

Fulin Guo|arXiv (Cornell University)|2023. 05. 09.

Evolutionary Game Theory and Cooperation인용 수 10

한 줄 요약

이 논문은 GPT-4 프롬프트를 사용해 유한 반복 얼티밋엄과 죄수의 딜레마 게임을 플레이하고, 공정성이나 이기심 같은 GPT 특성이 의사결정과 그 이면의 추론에 어떤 영향을 미치는지 분석한다.

ABSTRACT

This paper explores the use of Generative Pre-trained Transformers (GPT) in strategic game experiments, specifically the ultimatum game and the prisoner's dilemma. I designed prompts and architectures to enable GPT to understand the game rules and to generate both its choices and the reasoning behind decisions. The key findings show that GPT exhibits behaviours similar to human responses, such as making positive offers and rejecting unfair ones in the ultimatum game, along with conditional cooperation in the prisoner's dilemma. The study explores how prompting GPT with traits of fairness concern or selfishness influences its decisions. Notably, the "fair" GPT in the ultimatum game tends to make higher offers and reject offers more frequently compared to the "selfish" GPT. In the prisoner's dilemma, high cooperation rates are maintained only when both GPT players are "fair". The reasoning statements GPT produces during gameplay reveal the underlying logic of certain intriguing patterns observed in the games. Overall, this research shows the potential of GPT as a valuable tool in social science research, especially in experimental studies and social simulations.

연구 동기 및 목표

• 전략적 게임 실험에서 GPT-4를 사용하는 타당성을 입증한다.
• 공정성 대 이기심으로 GPT를 프롬프트하는 방식이 얼티밋엄 게임과 죄수의 딜레마에서 의사결정과 추론에 어떤 영향을 미치는지 탐구한다.
• GPT가 생성한 추론이 관찰된 행동 패턴을 어떻게 설명하는지 분석한다.
• 고전 게임 이론 실험에서 인간 피실험자의 행동과 GPT 기반 결과를 비교한다.

제안 방법

• 세션당 두 개의 GPT 플레이어로 다회전 게임을 실행하기 위해 gpt-4-1106-preview를 사용한다.
• 프롬프트를 통해 두 가지 특성(공정성 우려와 이기심)의 두 가지 특성을 할당하여 얼티밋엄 게임의 4가지 처리와 죄수의 딜레마의 3가지 처리 조건을 생성한다.
• GPT가 의사결정과 추론을 모두 출력하도록 요구하여 의사결정 동기의 텍스트 분석을 가능하게 한다.
• 각 처치를 100회의 시뮬레이션, 게임당 5라운드로 반복하되 다양성을 촉진하기 위해 1.0 온도(temperature)를 사용한다.
• 추론 텍스트를 분석하여 명예 구축(reputation-building)과 이타주의 같은 모티프를 결정적 분석(추론에 대해서 온도 0)으로 분류한다.
• 제공 제안, 거절, 라운드 진행을 GPT 특성과 라운드 번호와 연결하기 위해 OLS와 로짓 회귀를 사용한다.

실험 결과

연구 질문

• RQ1 유한 반복에서 얼티밋엄 게임과 죄수의 딜레마에서 GPT 플레이어가 인간과 유사한 행동을 보이는가?
• RQ2 공정성 대 이기심 프롬프트가 GPT의 의사결정과 거절/협력 패턴에 어떤 영향을 미치는가?
• RQ3 관찰된 패턴에 대해 GPT가 생성한 추론으로 어떤 설명을 얻을 수 있는가(예: 3라운드에서의 비단조적 거절, 양측이 공정할 때의 높은 협력)?

주요 결과

• 얼티밋엄 게임에서 공정한 GPT는 평균 약 40%를 제안하고, 이기적인 GPT는 평균 약 30%를 제안한다.
• 공정 응답자의 거절률이 더 높고, SF 조합에서 가장 높은 거절률(~18%)을 보인다.
• 제안자는 이전 라운드가 수락되면 제안을 낮추고, 거절 후에는 제안을 증가시키는 경향이 있다.
• 죄수의 딜레마에서 협력율은 양측 모두 공정할 때만 거의 100%에 가깝고, 하나의 이기적인 GPT가 협력을 크게 방해한다.
• 협력은 특히 초기 라운드에서 이타심보다는 명예 구축 신호에 의해 크게 좌우된다.
• 추론 텍스트는 향후 제안 예측, 엔드게임 역학 등의 전략적 고려를 드러내고, 관찰된 패턴 해석을 돕는다.]
• table_headers은 다음과 같습니다.