[논문 리뷰] Strategic Behavior of Large Language Models: Game Structure vs. Contextual Framing

Nunzio Lorè, Babak Heydari|arXiv (Cornell University)|2023. 09. 12.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 연구는 GPT-3.5, GPT-4 및 LLaMa-2가 다양한 맥락적 프레임(예: 외교적, 友好的, 비즈니스)에서 네 가지 이인용 사회적 딜레마 게임—협력의 딜레마, 사슴 사냥,积雪, 협력의 기쁨—에서 전략적 의사결정을 어떻게 내리는지 평가한다. 결과적으로 모든 모델가 맥락에 영향을 받지만, LLaMa-2는 GPT-4가 게임을 '높음' 또는 '낮음'의 바이너리 분류로 간주하는 데 반해, 더 정교한 게임 구조 인식 능력을 보이며 전략적 추론 능력이 뛰어나고, GPT-3.5는 맥락에 매우 민감하지만 추상적 전략적 추론 능력이 떨어진다.

ABSTRACT

This paper investigates the strategic decision-making capabilities of three Large Language Models (LLMs): GPT-3.5, GPT-4, and LLaMa-2, within the framework of game theory. Utilizing four canonical two-player games -- Prisoner's Dilemma, Stag Hunt, Snowdrift, and Prisoner's Delight -- we explore how these models navigate social dilemmas, situations where players can either cooperate for a collective benefit or defect for individual gain. Crucially, we extend our analysis to examine the role of contextual framing, such as diplomatic relations or casual friendships, in shaping the models' decisions. Our findings reveal a complex landscape: while GPT-3.5 is highly sensitive to contextual framing, it shows limited ability to engage in abstract strategic reasoning. Both GPT-4 and LLaMa-2 adjust their strategies based on game structure and context, but LLaMa-2 exhibits a more nuanced understanding of the games' underlying mechanics. These results highlight the current limitations and varied proficiencies of LLMs in strategic decision-making, cautioning against their unqualified use in tasks requiring complex strategic reasoning.

연구 동기 및 목표

• 협력과 배신을 포함한 표준 이인용 게임에서 대규모 언어 모델(Large Language Models, LLMs)이 어떻게 전략적 의사결정을 내리는지 조사하는 것.
• 외교적, 비즈니스적, 친구 관계 등 다양한 맥락적 프레임이 LLM의 의사결정에 미치는 상대적 영향을 평가하는 것.
• GPT-3.5, GPT-4 및 LLaMa-2와 같은 세 가지 주요 LLM의 전략적 추론 능력을 비교하는 것.
• LLM이 추상적 전략적 추론을 수행할 수 있는지, 아니면 주로 맥락적 신호에 반응하는지 평가하는 것.
• 이러한 발견이 실제 전략적 또는 사회적 의사결정 상황에서 LLM의 활용에 미치는 영향을 탐색하는 것.

제안 방법

• 협력과 배신을 포함한 네 가지 표준 이인용 게임—협력의 딜레마, 사슴 사냥, 적설, 협력의 기쁨—을 사용한 게임 이론적 시뮬레이션을 수행하였다.
• 각 게임에 대해 다섯 가지 다른 맥락적 프레임—외교적, 비즈니스적, 친구 관계, 캐주얼, 적대적—을 적용하여 프레임 효과를 평가하였다.
• 모델의 응답을 수집하고 분석하여 전략적 선택(협력 또는 배신)과 그 배경 이론을 파악하였다.
• 전략적 이해의 깊이를 평가하기 위해 추론 흐름의 정성적 분석을 수행하였으며, 최적의 반응 전략 식별 여부를 포함하였다.
• 게임 유형과 맥락 간의 모델 행동을 비교하여, 게임의 구조적 특성에 대한 민감도와 맥락적 신호에 대한 민감도를 평가하였다.
• 추론 체인의 사례 기반 및 패턴 기반 분석을 통해, 수익 극대화 또는 맥락 기반 규범에 의존하는 등의 기반 의사결정 메커니즘을 유추하였다.

Figure 1 : A schematic explanation of our data collecting process. A combination of a contextual prompt and a game prompt is fed into one of the LLM we examine in this paper, namely GPT-3.5, GPT-4, and LLaMa-2. Each combination creates a unique scenario, and for each scenario we collect 300 initiali

실험 결과

연구 질문

• RQ1 GPT-3.5, GPT-4 및 LLaMa-2는 네 가지 표준 이인용 게임에서 어떻게 다른 전략적 선택을 내리나?
• RQ2 친구 관계나 비즈니스 관계와 같은 맥락적 프레임이 LLM의 전략적 의사결정에 얼마나 큰 영향을 미치는가?
• RQ3 LLM은 사슴 사냥과 적설 게임 사이의 구조적 차이를 얼마나 잘 인식하고 추론하는가?
• RQ4 GPT-4가 게임 구조를 우선시하는 것이 더 세련된 전략적 추론을 이끌어내는가, 아니면 게임을 단순히 '높음' 또는 '낮음'의 바이너리 분류로 간주하는가?
• RQ5 LLaMa-2가 게임 구조를 더 정교하게 구분하는 데서 유의미한 성과를 내는 것은 전략적 유인에 대한 더 정교한 이해 때문인가?

주요 결과

• GPT-3.5는 맥락적 프레임에 매우 민감하지만 추상적 전략적 추론 능력이 제한되어 있어 종종 최적의 반응 전략을 식별하지 못한다.
• GPT-4는 맥락보다 게임 구조를 우선시하지만, 게임을 '높음' 또는 '낮음'의 사회적 딜레마 카테고리로 이원화하여 적용함으로써 서로 다른 게임 유형 간의 세련된 차이를 구분하지 못한다.
• LLaMa-2는 GPT-4보다 게임 구조에 대해 더 정교한 이해를 보이며, 맥락적 요소에 더 큰 중시를 기울이지만 여전히 더 높은 수준의 전략적 인식 능력을 보인다.
• 협력의 기쁨과 같은 게임에서는, 추론이 올바를 경우 LLaMa-2가 항상 개인적·사회적으로 최적의 선택(협력)으로 이어지는 추론을 보이지만, 때로는 기본적인 수학적 실수를 저지를 수 있다.
• GPT-4는 비협력의 딜레마가 아닌 게임을 종종 협력의 딜레마의 변형으로 잘못 인식하여, 게임의 구조적 차이를 인식하지 못함을 보여준다.
• 맥락적 프레임이 의사결정에 상당한 영향을 미치며, 특히 우호적 또는 협력적 맥락에서는 구조적으로 비협력적인 게임에서도 협력적 반응을 유도함으로써 프레임 조작에 취약함을 시사한다.

(a) Results grouped game, GPT-3.5