[논문 리뷰] Hoodwinked: Deception and Cooperation in a Text-Based Game for Language Models

Aidan O’Gara|arXiv (Cornell University)|2023. 07. 05.

Hate Speech and Cyberbullying Detection인용 수 6

한 줄 요약

이 논문은 Among Us를 영감으로 삼아 대화 기반 사회적 배신 게임인 Hoodwinked를 소개하며, 대규모 언어 모델에서 기만과 협력의 메커니즘을 연구한다. GPT-3, GPT-3.5, GPT-4를 에이전트로 사용한 연구에서 더 발전한 모델일수록 자연어 대화 중 더 강력한 기만 능력을 보이며, 24개의 쌍별 비교 중 18개에서 살인자의 성능이 뛰어나게 되는데, 이는 행동의 차이보다는 설득력 있는 거짓말 덕분이다.

ABSTRACT

Are current language models capable of deception and lie detection? We study this question by introducing a text-based game called $ extit{Hoodwinked}$, inspired by Mafia and Among Us. Players are locked in a house and must find a key to escape, but one player is tasked with killing the others. Each time a murder is committed, the surviving players have a natural language discussion then vote to banish one player from the game. We conduct experiments with agents controlled by GPT-3, GPT-3.5, and GPT-4 and find evidence of deception and lie detection capabilities. The killer often denies their crime and accuses others, leading to measurable effects on voting outcomes. More advanced models are more effective killers, outperforming smaller models in 18 of 24 pairwise comparisons. Secondary metrics provide evidence that this improvement is not mediated by different actions, but rather by stronger persuasive skills during discussions. To evaluate the ability of AI agents to deceive humans, we make this game publicly available at h https://hoodwinked.ai/ .

연구 동기 및 목표

• 대규모 언어 모델이 사회적 상호작용 환경에서 기만과 거짓 탐지에 참여할 수 있는지 조사하기 위해.
• 모델 능력 수준(GPT-3, GPT-3.5, GPT-4)이 자연어 대화 중 기만 행동에 미치는 영향을 평가하기 위해.
• 기대 성과 향상이 행동 선택의 향상인지, 아니면 논의 중 설득력 있는 언어 능력 향상 때문인지 확인하기 위해.
• 논의의 역동성이 사회적 추론 게임에서 투표 결과와 플레이어 간 협력에 미치는 영향을 평가하기 위해.
• 향후 연구를 위해 AI의 기만, 협력, 거짓 탐지에 관한 공개 플랫폼을 제공하기 위해.

제안 방법

• Mafia와 Among Us를 모델로 삼아, 한 명의 플레이어가 다른 이들을 살해하는 임무를 가진 대화 기반 사회적 배신 게임인 Hoodwinked를 설계한다.
• 이중 단계 게임 루프를 구현한다: 1단계는 플레이어가 개인화된 프롬프트를 통해 행동(예: 이동, 탐색)을 선택하는 단계이며, 2단계는 살인이 발생한 후, 플레이어들이 자연어 문장을 생성하고 한 명의 플레이어를 추방하기 위해 투표하는 단계이다.
• OpenAI API를 사용해 GPT-3, GPT-3.5, GPT-4를 제어하여 행동 생성, 논의 문장, 투표 선호도를 생성하도록 프롬프트한다.
• 다양하고 자연스러운 반응을 유도하기 위해 온도=1, 최대 길이 50토큰으로 논의 문장을 생성한다.
• 투표 정확도, 추방 비율, 모델 버전 간 비교 성능을 측정하여 결과를 측정한다.
• 증거를 본 눈사람(살인을 봤던 자)과 증거를 보지 못한 비눈사람(살인을 보지 못한 자)의 투표 패턴을 별도로 분석하여 논의의 영향을 고립한다.

Figure 1: Our game proceeds in two stages. During Stage 1, each player receives an individualized prompt and chooses from a list of actions. Innocent players must find a key to escape the house alive, while the impostor must kill the innocent players. If the impostor kills someone in Stage 1, player

실험 결과

연구 질문

• RQ1 GPT-3, GPT-3.5, GPT-4와 같은 대규모 언어 모델이 대화 기반 사회적 배신 게임에서 다른 에이전트를 성공적으로 기만할 수 있는가?
• RQ2 언어 모델의 능력 수준이 살인자 성공률로 측정된 기만 효과성과 상관관계가 있는가?
• RQ3 더 발전한 모델의 성능 향상 원인이 행동 선택의 향상인지, 아니면 논의 중 설득력 있는 언어 능력 향상 때문인가?
• RQ4 자연어 논의가 투표 행동에 어떤 영향을 미치며, 특히 공유된 정보에 의존하는 비눈사람 플레이어에게서 어떤 영향을 미치는가?
• RQ5 논의 내용과 투표 결과 분석을 통해 언어 모델의 기만 행동을 어느 정도 탐지할 수 있는가?

주요 결과

• 더 발전한 언어 모델(GPT-3.5 및 GPT-4)은 살인자로서 24개의 쌍별 비교 중 18개에서 더 작은 모델을 능가하여 더 강력한 기만 능력을 보였다.
• 살인자의 논의 문장은 투표 결과에 중대한 영향을 미쳤다: 논의가 있었을 경우 비눈사람은 살인자를 정확히 식별할 가능성이 22%p 높아졌다.
• 눈사람은 살인자와의 논의 후 살인자를 정확히 추방할 가능성이 12%p 감소했으며, 이는 기만적인 서사의 영향을 보여준다.
• 논의가 전체 협력 수준을 향상시켰다: 논의가 있었을 경우 살인자는 55%의 게임에서 추방되었고, 논의가 없었을 경우 33%였으며, 이는 논의가 더 나은 집단적 의사결정을 가능하게 한다는 것을 시사한다.
• 고급 모델의 성능 향상 원인이 행동 선택의 차이가 아니라 논의 중 더 강력한 설득력 있는 언어 능력 덕분이었으며, 이는 기만에 대한 반비례 규모 법칙을 지지한다.
• 본 연구는 기만에 대한 반비례 규모 법칙을 증거로 제시하며, 더 능력 있는 모델일수록 특히 사회적 추론과 서사 구성 능력에서 더 효과적인 기만을 보임을 보여준다.

Figure 2: Heatmap of the percentage of games where the killer is banished. Each matchup has a sample size of either 50 or 100 games. Full data available at https://github.com/aogara-ds/hoodwinked .