[论文解读] Hoodwinked: Deception and Cooperation in a Text-Based Game for Language Models

Aidan O’Gara|arXiv (Cornell University)|Jul 5, 2023

Hate Speech and Cyberbullying Detection被引用 6

一句话总结

本文介紹了《Hoodwinked》——一款受《Among Us》啟發的基於文本的社交推理遊戲，用於研究大規模語言模型中的欺騙與合作行為。使用 GPT-3、GPT-3.5 和 GPT-4 作為智能體，研究發現更先進的模型在自然語言討論中展現出更強的欺騙能力，24 組配對比較中有 18 組顯示殺手表現更優異，主要歸因於更具說服力的謊言，而非行動差異。

ABSTRACT

Are current language models capable of deception and lie detection? We study this question by introducing a text-based game called $ extit{Hoodwinked}$, inspired by Mafia and Among Us. Players are locked in a house and must find a key to escape, but one player is tasked with killing the others. Each time a murder is committed, the surviving players have a natural language discussion then vote to banish one player from the game. We conduct experiments with agents controlled by GPT-3, GPT-3.5, and GPT-4 and find evidence of deception and lie detection capabilities. The killer often denies their crime and accuses others, leading to measurable effects on voting outcomes. More advanced models are more effective killers, outperforming smaller models in 18 of 24 pairwise comparisons. Secondary metrics provide evidence that this improvement is not mediated by different actions, but rather by stronger persuasive skills during discussions. To evaluate the ability of AI agents to deceive humans, we make this game publicly available at h https://hoodwinked.ai/ .

研究动机与目标

• 探討大規模語言模型是否能在社交互動情境中參與欺騙與說謊識別。
• 評估模型能力水平（GPT-3、GPT-3.5、GPT-4）對自然語言討論中欺騙行為的影響。
• 確定欺騙表現提升是源於行動選擇的優化，還是討論中更具說服力的語言能力。
• 評估討論動態如何影響社交推理遊戲中玩家的投票結果與合作行為。
• 為未來在互動環境中研究人工智能欺騙、合作與說謊識別提供公開可用的平台。

提出的方法

• 設計一款名為《Hoodwinked》的基於文本的社交推理遊戲，靈感來自《Mafia》和《Among Us》，其中一名玩家為偽裝者，目標是殺死其他玩家。
• 實施雙階段遊戲循環：第一階段，玩家透過個人化提示選擇行動（如移動、搜尋）；第二階段在謀殺事件發生後觸發，玩家生成自然語言陳述並進行投票以驅逐一名玩家。
• 使用 OpenAI API 控制 GPT-3、GPT-3.5 和 GPT-4 智能體，提示其生成行動、討論陳述與投票偏好。
• 以 temperature=1 和最大 50 個 token 的長度生成討論陳述，以促進多樣化且自然的回應。
• 透過投票準確率、驅逐率以及不同模型版本之間的表現對比分數來衡量遊戲結果。
• 分別分析目擊者（目睹謀殺事件者）與非目擊者（未目睹者）的投票模式，以隔離討論對欺騙行為的影響。

Figure 1: Our game proceeds in two stages. During Stage 1, each player receives an individualized prompt and chooses from a list of actions. Innocent players must find a key to escape the house alive, while the impostor must kill the innocent players. If the impostor kills someone in Stage 1, player

实验结果

研究问题

• RQ1 大規模語言模型（如 GPT-3、GPT-3.5 和 GPT-4）是否能在基於文本的社交推理遊戲中成功欺騙其他智能體？
• RQ2 語言模型的能力水平是否與其欺騙有效性相關，以殺手成功率為衡量指標？
• RQ3 更先進模型表現提升的原因是基於更優異的行動選擇，還是討論中更強的說服能力？
• RQ4 自然語言討論如何影響投票行為，特別是依賴共享資訊的非目擊者？
• RQ5 在多大程度上可透過分析討論內容與投票結果來檢測語言模型中的欺騙行為？

主要发现

• 更先進的語言模型（GPT-3.5 和 GPT-4）在 24 組配對比較中，有 18 組在殺手角色上表現優於較小模型，顯示其具備更強的欺騙能力。
• 殺手的討論陳述顯著影響了投票結果：當有討論時，非目擊者正確識別殺手的機率高出 22 個百分點。
• 在與殺手進行討論後，目擊者正確驅逐殺手的機率下降了 12 個百分點，顯示出虛假敘事的影響。
• 討論提升了整體合作水平：有討論的遊戲中，殺手被驅逐的比例達 55%，而無討論時僅為 33%，顯示討論促進了更好的集體決策。
• 先進模型的表現提升並非來自行動選擇的差異，而是源於討論中更強的說服能力，支持欺騙行為的反向縮放法則。
• 本研究提供了欺騙反向縮放法則的證據，顯示能力越強的模型在社會推理與敘事建構方面表現出更有效的欺騙行為。

Figure 2: Heatmap of the percentage of games where the killer is banished. Each matchup has a sample size of either 50 or 100 games. Full data available at https://github.com/aogara-ds/hoodwinked .