[論文レビュー] Strategic Behavior of Large Language Models: Game Structure vs. Contextual Framing

Nunzio Lorè, Babak Heydari|arXiv (Cornell University)|Sep 12, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本研究では、GPT-3.5、GPT-4、LLaMa-2が、外交的、友好的、ビジネス的など varying な文脈フレーミングのもとで、4つの2人対戦型社会的ジレンマゲーム（囚人のジレンマ、ハナグマの狩り、スノードリフト、囚人の喜び）における戦略的意思決定を評価する。結果として、すべてのモデルが文脈に影響を受ける一方で、LLaMa-2はGPT-4がゲームを二値分類に依存するのに対し、GPT-3.5が文脈に非常に敏感であるが抽象的な戦略的推論を欠いていることと比較して、ゲーム構造をより正確に区別する優れた戦略的推論を示した。

ABSTRACT

This paper investigates the strategic decision-making capabilities of three Large Language Models (LLMs): GPT-3.5, GPT-4, and LLaMa-2, within the framework of game theory. Utilizing four canonical two-player games -- Prisoner's Dilemma, Stag Hunt, Snowdrift, and Prisoner's Delight -- we explore how these models navigate social dilemmas, situations where players can either cooperate for a collective benefit or defect for individual gain. Crucially, we extend our analysis to examine the role of contextual framing, such as diplomatic relations or casual friendships, in shaping the models' decisions. Our findings reveal a complex landscape: while GPT-3.5 is highly sensitive to contextual framing, it shows limited ability to engage in abstract strategic reasoning. Both GPT-4 and LLaMa-2 adjust their strategies based on game structure and context, but LLaMa-2 exhibits a more nuanced understanding of the games' underlying mechanics. These results highlight the current limitations and varied proficiencies of LLMs in strategic decision-making, cautioning against their unqualified use in tasks requiring complex strategic reasoning.

研究の動機と目的

• 協力と裏切りを含む代表的な2人対戦型ゲームにおける大規模言語モデル（LLM）の戦略的意思決定の仕組みを調査すること。
• 外交的、ビジネス的、友好的な関係といった文脈的フレーミングが、LLMの意思決定に与える相対的な影響を評価すること。
• GPT-3.5、GPT-4、LLaMa-2という3つの代表的なLLMの戦略的推論能力を比較すること。
• LLMが抽象的な戦略的推論を行うのか、それとも主に文脈的ヒントに反応するのかを評価すること。
• これらの発見が、現実世界の戦略的または社会的意思決定の場面におけるLLMの利用に与える意味を検討すること。

提案手法

• 代表的な2人対戦型ゲーム4つ（囚人のジレンマ、ハナグマの狩り、スノードリフト、囚人の喜び）を用いたゲーム理論的シミュレーションを実施した。
• 各ゲームに5つの異なる文脈的フレーミング（外交的、ビジネス的、友好的、カジュアル、敵対的）を適用し、フレーミング効果を評価した。
• モデルの出力を収集・分析し、戦略的選択（協力または裏切り）とその背後にある推論を特定した。
• 推論のトレースを定性的に分析することで、最適反応戦略の特定を含む戦略的理解の深さを評価した。
• ゲームタイプと文脈ごとのモデル行動を比較し、構造的ゲーム特徴と文脈的ヒントの両者に対する感受性を評価した。
• 推論チェーンの例示的およびパターンベースの分析を通じて、報酬最大化や文脈駆動型規範への依存といった、背後にある意思決定メカニズムを推測した。

Figure 1 : A schematic explanation of our data collecting process. A combination of a contextual prompt and a game prompt is fed into one of the LLM we examine in this paper, namely GPT-3.5, GPT-4, and LLaMa-2. Each combination creates a unique scenario, and for each scenario we collect 300 initiali

実験結果

リサーチクエスチョン

• RQ1 GPT-3.5、GPT-4、LLaMa-2は、4つの代表的な2人対戦型ゲームにおいて、どのように戦略的選択を変えるか？
• RQ2 友好的な関係やビジネス関係といった文脈的フレーミングは、LLMの戦略的意思決定にどの程度影響を与えるか？
• RQ3 LLMは、ハナグマの狩りとスノードリフトといった異なるゲームタイプの構造的差異をどれほど正しく認識し、推論できるか？
• RQ4 GPT-4がゲーム構造を優先することで、洗練された戦略的推論がなされるのか、それともゲームを単純化した二値分類に依存しているのか？
• RQ5 LLaMa-2がゲーム構造の違いをより正確に区別できるという優れたパフォーマンスは、戦略的インcentiveのより洗練された理解に起因するのか？

主な発見

• GPT-3.5は文脈的フレーミングに非常に感受性が強いが、抽象的な戦略的推論の能力に欠け、最適反応戦略を特定できないことが多い。
• GPT-4は文脈よりもゲーム構造を優先するが、ゲームを「高」または「低」の社会的ジレンマのカテゴリに二値分類するにとどまり、異なるゲームタイプの洗練された区別を欠いている。
• LLaMa-2はGPT-4と比較して、ゲーム構造の理解がより洗練されており、文脈的要因への重み付けがより高いにもかかわらず、ゲーム構造の違いを的確に捉えている。
• 囚人の喜びのようなゲームでは、推論が正しい場合、LLaMa-2は常に個人的および社会的に最適な選択（協力）に到達して推論するが、まれに基本的な数学的誤りを犯すことがある。
• GPT-4は非囚人のジレンマのゲームを、しばしば囚人のジレンマの変種と誤認知しており、構造的差別の能力に欠けていることが示唆される。
• 文脈的フレーミングは意思決定に顕著な影響を与える。特に友好的または協働的な文脈では、構造的に非協力的なゲームに対しても協力的反応が示されることがあり、フレーミング操作への感受性が示唆される。

(a) Results grouped game, GPT-3.5