[论文解读] Avalon's Game of Thoughts: Battle Against Deception through Recursive Contemplation

Shenzhi Wang, Chang Liu+8 more|arXiv (Cornell University)|Oct 2, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种名为递归沉思（ReCon）的新框架，通过模拟递归思维和多层级视角转换，增强大语言模型（LLMs）在社交推断类游戏（如Avalon）中检测并应对欺骗性信息的能力。ReCon在无需微调的情况下提升了LLM在欺骗性环境中的表现，当使用思维链推理时，好人团队的胜率从15.0%提升至19.4%。

ABSTRACT

Recent breakthroughs in large language models (LLMs) have brought remarkable success in the field of LLM-as-Agent. Nevertheless, a prevalent assumption is that the information processed by LLMs is consistently honest, neglecting the pervasive deceptive or misleading information in human society and AI-generated content. This oversight makes LLMs susceptible to malicious manipulations, potentially resulting in detrimental outcomes. This study utilizes the intricate Avalon game as a testbed to explore LLMs' potential in deceptive environments. Avalon, full of misinformation and requiring sophisticated logic, manifests as a "Game-of-Thoughts". Inspired by the efficacy of humans' recursive thinking and perspective-taking in the Avalon game, we introduce a novel framework, Recursive Contemplation (ReCon), to enhance LLMs' ability to identify and counteract deceptive information. ReCon combines formulation and refinement contemplation processes; formulation contemplation produces initial thoughts and speech, while refinement contemplation further polishes them. Additionally, we incorporate first-order and second-order perspective transitions into these processes respectively. Specifically, the first-order allows an LLM agent to infer others' mental states, and the second-order involves understanding how others perceive the agent's mental state. After integrating ReCon with different LLMs, extensive experiment results from the Avalon game indicate its efficacy in aiding LLMs to discern and maneuver around deceptive information without extra fine-tuning and data. Finally, we offer a possible explanation for the efficacy of ReCon and explore the current limitations of LLMs in terms of safety, reasoning, speaking style, and format, potentially furnishing insights for subsequent research.

研究动机与目标

• 探究LLMs在社交互动环境中对欺骗性信息的脆弱性。
• 探索类人递归思维与视角转换是否能提升LLMs检测欺骗的能力。
• 开发一种框架，使LLM智能体能够在不依赖额外微调或数据的情况下推理欺骗行为。
• 评估递归沉思在增强欺骗情境下推理能力、安全性与伦理对齐方面的有效性。
• 为当前LLMs在推理、表达风格、格式与安全性方面处理欺骗时的局限性提供洞见。

提出的方法

• ReCon引入两种认知过程：构想沉思（生成初始想法与言辞）和优化沉思（提升想法的准确性以进行润色）。
• 一级视角转换使LLM能够从自身视角推断他人的心理状态。
• 二级视角转换使LLM能够建模他人如何感知自身的心理状态。
• 该框架将这些过程整合进递归思维循环中，以模拟更深层次的认知反思。
• ReCon在不进行微调的情况下应用于LLM，仅通过提示工程与自我一致性推理实现。
• 实验通过API访问GPT-3.5、GPT-4、Claude-2以及LLaMA-2-70b-chat-hf的公开检查点，使用LLMs进行。

实验结果

研究问题

• RQ1 递归思维与多层级视角转换是否能提升LLMs在社交推断类游戏中检测欺骗的能力？
• RQ2 与标准思维链提示相比，ReCon在欺骗性环境中的LLM表现有何提升？
• RQ3 在不进行微调的情况下，ReCon在多大程度上能提升伦理推理并降低被操纵的敏感性？
• RQ4 当前LLMs在推理、表达风格、格式与安全性方面应用于欺骗情境时存在哪些局限性？
• RQ5 ReCon能否推广至其他欺骗性较强的环境，如狼人杀或谋杀之谜类游戏？

主要发现

• 当使用思维链推理时，ReCon将Avalon游戏中好人团队的胜率从15.0%提升至19.4%，表明其在欺骗检测方面表现更优。
• 当双方团队均使用ReCon时，坏人团队的胜率从85.0%下降至70.6%，表明ReCon增强了识别与反制欺骗的能力。
• ReCon通过引入递归思维过程与多层级视角转换，提升了LLMs在欺骗性环境中的推理能力。
• 该框架在无需额外数据或微调的情况下，增强了LLMs辨别误导性陈述与实现伦理推理对齐的能力。
• 定性分析表明，ReCon在多智能体欺骗场景中促成了更连贯、上下文感知且战略一致的推理。
• 尽管具有诸多优势，ReCon也揭示了LLMs在复杂欺骗任务中安全性、推理一致性、表达风格对齐与格式鲁棒性方面的局限性。