[論文レビュー] GPT in Game Theory Experiments

Fulin Guo|arXiv (Cornell University)|May 9, 2023

Evolutionary Game Theory and Cooperation被引用数 10

ひとこと要約

本論文は GPT-4 のプロンプトを用いて有限回繰り返しの ultimatum および prisoner’s dilemma のゲームをプレイし、GPT の特徴である公正さや自己中心性が意思決定およびそれらの推論にどのような影響を与えるかを分析する。

ABSTRACT

This paper explores the use of Generative Pre-trained Transformers (GPT) in strategic game experiments, specifically the ultimatum game and the prisoner's dilemma. I designed prompts and architectures to enable GPT to understand the game rules and to generate both its choices and the reasoning behind decisions. The key findings show that GPT exhibits behaviours similar to human responses, such as making positive offers and rejecting unfair ones in the ultimatum game, along with conditional cooperation in the prisoner's dilemma. The study explores how prompting GPT with traits of fairness concern or selfishness influences its decisions. Notably, the "fair" GPT in the ultimatum game tends to make higher offers and reject offers more frequently compared to the "selfish" GPT. In the prisoner's dilemma, high cooperation rates are maintained only when both GPT players are "fair". The reasoning statements GPT produces during gameplay reveal the underlying logic of certain intriguing patterns observed in the games. Overall, this research shows the potential of GPT as a valuable tool in social science research, especially in experimental studies and social simulations.

研究の動機と目的

• 戦略的ゲーム実験におけるGPT-4の活用可能性を実証する。
• 公正さと自己中心性を促すプロンプトが、4つの？における意思決定と推論にどのように影響するかを探る。
• GPT生成の推論が観測された行動パターンをどのように説明するかを分析する。
• 古典的なゲーム理論実験における人間の行動とGPT主導の結果を比較する。

提案手法

• セッションごとに2つのGPTプレイヤーを用いてmulti-roundゲームを実行するためにgpt-4-1106-previewを使用する。
• プロンプトを介して二つの特性（公正さの関心と自己中心性）を割り当て、4つのultimatum-game処理と3つのprisoner’s-dilemma処理を作成する。
• 意思決定と推論の両方を出力させ、意思決定の動機のテキスト分析を可能にする。
• 各処理を100回のシミュレーション、ゲームあたり5ラウンド、ばらつきを促すために温度1.0で繰り返す。
• 推論テキストを分析して、評判構築や利他主義などのモチーフを決定論的分析（推論の温度0）で分類する。
• OLSおよびロジット回帰を用いて、オファー、拒否、ラウンド進行をGPTの特性とラウンド番号に結びつける。

実験結果

リサーチクエスチョン

• RQ1 有限回繰り返しプレイにおいて、GPTプレイヤーはultimatum gameおよびprisoner’s dilemmaで人間に似た行動を示すか。
• RQ2 公正さと自己中心性のプロンプトはGPTの意思決定と拒否/協力パターンにどのように影響するか。
• RQ3 観察されたパターン（例: 第3ラウンドでの非単調な拒否、双方が公正なときの高い協力）について、GPT生成の推論からどのような説明が導かれるか。

主な発見

変数	selfish-selfish	selfish-fair	fair-selfish	fair-fair
mean offer	28.552*** (0.335)	30.940*** (0.259)	38.826*** (0.312)	40.278*** (0.266)
change of offer after acceptance	-3.677*** (0.158)	-3.054*** (0.190)	-1.605*** (0.163)	-0.815*** (0.163)
change of offer after rejection	6.240*** (0.604)	4.932*** (0.292)	4.000* (1.000)	7.591*** (0.844)

• ultimatum game では、公正なGPTが平均約40%を提案し、自己中心的なGPTは約30%を提案する。
• 拒否率は公正な応答者で高く、SFの組み合わせが最高の拒否率（約18%）を示す。
• 提案者は前のラウンドが受理された場合に提案を下方修正し、拒否後には提案を増やす傾向がある。
• prisoner’s dilemma では、両プレイヤーが公正な場合にのみ協力率はほぼ100%である；単独の自己中心的GPTが協力を大きく崩す。
• 協力は主に利他主義よりも評判構築の手がかりによって推進されることが多く、特に初期ラウンドで顕著。
• 推論テキストは将来のオファーを予測するなどの戦略的配慮やエンドゲームのダイナミクスを示し、観察されたパターンの解釈を助ける。