[논문 리뷰] Avalon's Game of Thoughts: Battle Against Deception through Recursive Contemplation

Shenzhi Wang, Chang Liu외 8명|arXiv (Cornell University)|2023. 10. 02.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대화 기반 사회적 추론 게임인 아바론과 같은 환경에서 위장 정보를 탐지하고 대응할 수 있도록 대규모 언어 모델(Large Language Models, LLMs)을 향상시키기 위한 새로운 프레임워크인 Recursive Contemplation(ReCon)을 제안한다. ReCon은 순환적 사고와 다수준 시각 전환을 시뮬레이션하여, 미세조정(fine-tuning) 없이도 LLM의 성능을 향상시키며, 사고의 흐름(chain-of-thought)을 사용할 경우 선의 팀의 승리 확률을 15.0%에서 19.4%로 끌어올린다.

ABSTRACT

Recent breakthroughs in large language models (LLMs) have brought remarkable success in the field of LLM-as-Agent. Nevertheless, a prevalent assumption is that the information processed by LLMs is consistently honest, neglecting the pervasive deceptive or misleading information in human society and AI-generated content. This oversight makes LLMs susceptible to malicious manipulations, potentially resulting in detrimental outcomes. This study utilizes the intricate Avalon game as a testbed to explore LLMs' potential in deceptive environments. Avalon, full of misinformation and requiring sophisticated logic, manifests as a "Game-of-Thoughts". Inspired by the efficacy of humans' recursive thinking and perspective-taking in the Avalon game, we introduce a novel framework, Recursive Contemplation (ReCon), to enhance LLMs' ability to identify and counteract deceptive information. ReCon combines formulation and refinement contemplation processes; formulation contemplation produces initial thoughts and speech, while refinement contemplation further polishes them. Additionally, we incorporate first-order and second-order perspective transitions into these processes respectively. Specifically, the first-order allows an LLM agent to infer others' mental states, and the second-order involves understanding how others perceive the agent's mental state. After integrating ReCon with different LLMs, extensive experiment results from the Avalon game indicate its efficacy in aiding LLMs to discern and maneuver around deceptive information without extra fine-tuning and data. Finally, we offer a possible explanation for the efficacy of ReCon and explore the current limitations of LLMs in terms of safety, reasoning, speaking style, and format, potentially furnishing insights for subsequent research.

연구 동기 및 목표

• LLMs가 사회적 상호작용 환경에서 위장 정보에 얼마나 취약한지 조사하는 것.
• 인간과 유사한 순환적 사고와 시각 전환 기법이 LLM의 위장 정보 탐지 능력을 향상시킬 수 있는지 탐색하는 것.
• 추가적인 미세조정이나 데이터가 필요 없이 LLM 에이전트가 위장 정보에 대해 추론할 수 있도록 프레임워크를 개발하는 것.
• 순환적 사색이 위장 상황에서 추론 능력, 안전성, 윤리적 일치도를 향상시키는 데 얼마나 효과적인지 평가하는 것.
• 현재 LLM이 위장 상황을 다룰 때 추론, 말투, 형식, 안전성 측면에서 겪는 한계에 대한 통찰을 제공하는 것.

제안 방법

• ReCon은 두 가지 인지 과정을 도입한다: 구성 고찰(초기 생각과 발언 생성)과 정련 고찰(정확도 향상을 위한 생각 다듬기).
• 일차적 시각 전환은 LLM이 자신의 시각에서 다른 이의 정서 상태를 추론할 수 있도록 한다.
• 이차적 시각 전환은 LLM이 다른 이가 자신의 정서 상태를 어떻게 인식하는지 모델링할 수 있도록 한다.
• 이러한 과정들을 순환적 사고 루프에 통합하여 더 깊은 인지적 반성 효과를 시뮬레이션한다.
• ReCon은 프롬프트 엔지니어링과 자기 일관성 있는 추론만을 사용하여, 미세조정 없이 LLM에 적용된다.
• 실험은 GPT-3.5, GPT-4, Claude-2, LLaMA-2-70b-chat-hf와 같은 LLM을 API 접근 및 공개 체크포인트를 통해 수행한다.

실험 결과

연구 질문

• RQ1 순환적 사고와 다수준 시각 전환은 사회적 추론 게임에서 LLM의 위장 정보 탐지 능력을 향상시킬 수 있는가?
• RQ2 표준 사고의 흐름 프롬프팅 대비 ReCon이 위장 환경에서 LLM 성능을 얼마나 향상시키는가?
• RQ3 미세조정 없이 ReCon이 윤리적 사고를 얼마나 향상시키고, 조작에 대한 민감도를 얼마나 줄일 수 있는가?
• RQ4 현재 LLM이 위장 상황을 다룰 때 추론, 말투, 형식, 안전성 측면에서 겪는 한계는 무엇인가?
• RQ5 ReCon은 워프루프나 살인 미스터리 게임과 같은 다른 위장 정보가 많은 환경으로 일반화될 수 있는가?

주요 결과

• 사고의 흐름 프롬프팅을 사용할 경우, ReCon은 아바론 게임에서 선의 팀의 승리 확률을 15.0%에서 19.4%로 끌어올려 위장 정보 탐지 능력 향상을 입증한다.
• 양 팀이 ReCon을 사용할 경우 악의 팀의 승리 확률은 85.0%에서 70.6%로 감소하여, ReCon이 위장 정보에 대응하는 능력을 향상시킨다는 것을 보여준다.
• ReCon은 순환적 사고 과정과 다수준 시각 전환을 통해 위장 환경에서 LLM의 추론 능력을 향상시킨다.
• 추가 데이터나 미세조정 없이도 ReCon은 LLM이 오해의 소지가 있는 문장들을 구별하고 윤리적 사고에 부합하는 데 능력을 향상시킨다.
• 정성적 분석 결과, ReCon은 다중 에이전트 위장 상황에서 더 일관되고 맥락 인식 능력이 뛰어나며 전략적으로도 일관된 추론을 이끌어낸다.
• 그럼에도 불구하고 ReCon은 복잡한 위장 과제에서 LLM의 안전성, 추론 일관성, 말투 일치도, 형식에 대한 강건성 측면에서의 한계를 드러낸다.