[논문 리뷰] Human vs. Machine: Behavioral Differences Between Expert Humans and Language Models in Wargame Simulations

Max Lamparth, Anthony Corso외 4명|arXiv (Cornell University)|2024. 03. 06.

Multi-Agent Systems and Negotiation인용 수 4

한 줄 요약

이 연구는 타이완 해협에서의 위기 격상 상황을 시뮬레이션하는 미국-중국 전술게임에서 전문가 인간의 의사결정과 대규모 언어모델(LLM)에 의해 시뮬레이션된 응답을 비교한다. 21개의 행동 결정 프레임워크를 사용하여, 저자들은 인간과 LLM 응답 간에 상당한 겹침을 발견했으며, 특히 LLM이 대화 시뮬레이션을 하도록 유도된 경우에 더 높은 유사성을 보였다. 그러나 공격성, 행동 선택, 지시 지침에 대한 민감도 측면에서 체계적인 차이가 있음을 확인했으며, 인간의 감시 없이 고위험 전략적 권고에 LLM을 의존할 경우 위험이 있음을 시사한다.

ABSTRACT

To some, the advent of artificial intelligence (AI) promises better decision-making and increased military effectiveness while reducing the influence of human error and emotions. However, there is still debate about how AI systems, especially large language models (LLMs) that can be applied to many tasks, behave compared to humans in high-stakes military decision-making scenarios with the potential for increased risks towards escalation. To test this potential and scrutinize the use of LLMs for such purposes, we use a new wargame experiment with 214 national security experts designed to examine crisis escalation in a fictional U.S.-China scenario and compare the behavior of human player teams to LLM-simulated team responses in separate simulations. Here, we find that the LLM-simulated responses can be more aggressive and significantly affected by changes in the scenario. We show a considerable high-level agreement in the LLM and human responses and significant quantitative and qualitative differences in individual actions and strategic tendencies. These differences depend on intrinsic biases in LLMs regarding the appropriate level of violence following strategic instructions, the choice of LLM, and whether the LLMs are tasked to decide for a team of players directly or first to simulate dialog between a team of players. When simulating the dialog, the discussions lack quality and maintain a farcical harmony. The LLM simulations cannot account for human player characteristics, showing no significant difference even for extreme traits, such as "pacifist" or "aggressive sociopath." When probing behavioral consistency across individual moves of the simulation, the tested LLMs deviated from each other but generally showed somewhat consistent behavior. Our results motivate policymakers to be cautious before granting autonomy or following AI-based strategy recommendations.

연구 동기 및 목표

• 고위험 미국-중국 위기 전술게임에서 전문가 인간 플레이어의 응답과 LLM에 의해 시뮬레이션된 응답이 얼마나 유사한지 평가하기 위해.
• LLM 프롬프팅 방식의 차이(예: 대화 시뮬레이션 대비 직접 행동 선택)가 전략적 행동과 결과 예측 가능성에 어떤 영향을 미치는지 조사하기 위해.
• LLM이 배경 속성과 개인적 편향을 포함한 인간의 심리적 및 전략적 선호도를 정확히 재현할 수 있는 정도를 평가하기 위해.
• 특히 공격성과 전투 규칙에 대한 민감도 측면에서 인간과 LLM 간의 체계적 차이를 특정하기 위해.
• 엄격한 검증 없이 LLM을 자율 군사 의사결정에 도입할 경우의 위험을 정책 입안자들에게 안내하기 위해.

제안 방법

• 2026년에 발생하는 가상의 미국-중국 위기 상황을 시뮬레이션하는 2수수 전술게임을 진행하여, 107명의 국가안보 전문가가 미국 국익보장회의 결정을 대신해 수행한다.
• GPT-4를 포함한 LLM을 사용하여 두 가지 프롬프팅 조건 하에서 응답을 시뮬레이션한다: (1) 플레이어 간의 역할 연기 대화 시뮬레이션, (2) 각 플레이어 역할에 대한 행동 목록을 직접 지시하는 방식.
• 21개의 가능한 행동에 대해 응답 벡터를 수집하고 비교하며, 인간과 LLM 응답 간 분포 유사성을 시각화하기 위해 선형 판별 분석을 사용한다.
• 인간과 LLM이 생성한 응답 간 이성적 차이, 격상 경향, 전략적 프레임워크의 질적 차이를 분석한다.
• LLM 입력 지시어가 행동 결과, 특히 공격성과 행동 수에 미치는 영향을 평가한다.
• LLM이 플레이어의 배경 속성, 개인적 선호도, 기관 역할 등을 고려하지 못함으로써 일반화되고 맥락에 민감하지 않은 권고를 내놓는다는 점을 평가한다.

실험 결과

연구 질문

• RQ1 LLM에 의해 시뮬레이션된 응답은 미국-중국 위기 전술게임에서 전문가 인간의 응답과 정량적·정성적으로 어떻게 비교될 수 있는가?
• RQ2 프롬프팅 형식(대화 시뮬레이션 대비 직접 행동 선택)이 LLM 행동과 전략적 결과에 어떤 영향을 미치는가?
• RQ3 LLM은 배경에 특화된 의사결정까지 포함해 인간의 심리적 및 전략적 선호도를 정확히 재현할 수 있는가?
• RQ4 특히 전투 규칙에 대한 민감도 측면에서 인간과 LLM 플레이어 간의 체계적 차이는 무엇인가?
• RQ5 LLM 아키텍처와 지시 설계의 차이가 AI 기반 전략 권고의 신뢰성과 안전성에 어떤 영향을 미치는가?

주요 결과

• LLM에 의해 시뮬레이션된 응답은 인간 응답과 상당한 겹침을 보였으며, 전술게임에서 가능한 21개 행동 중 약 절반에 대해 일치를 보였다.
• 플레이어 간 대화 시뮬레이션을 유도한 프롬프팅 조건에서 LLM 응답은 의미 있는 상호작용을 보이지 않았고, 동적인 협상이나 전략적 적응을 반영하지 못했다.
• 직접 행동을 나열하도록 지시받은 경우 LLM 응답은 더 공격적으로 행동했으며, 행동 선택 수도 증가했다. 대조적으로 대화 시뮬레이션 프롬프팅 조건에서는 그렇지 않았다.
• LLM은 플레이어의 배경 속성, 개인적 선호도, 기관 역할을 고려할 능력이 전혀 없었으며, 이로 인해 일반화되고 맥락에 민감하지 않은 권고를 내놓았다.
• 다른 LLM은 공격성 수준과 의사결정 패턴에서 다양성을 보였으며, 이는 모델 선택과 프롬프팅 설계에 민감함을 시사한다.
• 행동 선택 측면에서 표면적으로는 비슷한 유사성이 있었지만, 이성적 추론과 격상 프레임워크 측면에서의 질적 차이가 있었으며, 이는 고위험 상황에서 LLM이 인간의 전략적 의도를 잘못 대변할 수 있음을 시사한다.