[논문 리뷰] Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration

Zhenhailong Wang, Shaoguang Mao외 4명|arXiv (Cornell University)|2023. 07. 11.

Persona Design and Applications인용 수 11

한 줄 요약

이 논문은 Solo Performance Prompting(SPP)을 소개한다. 이는 지식 집중 및 추론 집중 과제를 해결하기 위해 단일 LLM이 다수의 페르소나를 동적으로 식별하고 협업하도록 하는 제로샷 방법으로, 주로 GPT-4에서 출현하는 인지적 시너지를 보인다.

ABSTRACT

Human intelligence thrives on cognitive synergy, where collaboration among different minds yield superior outcomes compared to isolated individuals. In this work, we propose Solo Performance Prompting (SPP), which transforms a single LLM into a cognitive synergist by engaging in multi-turn self-collaboration with multiple personas. A cognitive synergist is an intelligent agent that collaboratively combines multiple minds' strengths and knowledge to enhance problem-solving in complex tasks. By dynamically identifying and simulating different personas based on task inputs, SPP unleashes the potential of cognitive synergy in LLMs. Our in-depth analysis shows that assigning multiple fine-grained personas in LLMs improves problem-solving abilities compared to using a single or fixed number of personas. We evaluate SPP on three challenging tasks: Trivia Creative Writing, Codenames Collaborative, and Logic Grid Puzzle, encompassing both knowledge-intensive and reasoning-intensive types. Unlike previous works, such as Chain-of-Thought, that solely enhance the reasoning abilities in LLMs, experimental results demonstrate that SPP effectively reduces factual hallucination, and maintains strong reasoning capabilities. Additionally, comparative experiments show that cognitive synergy only emerges in GPT-4 and does not appear in less capable models, such as GPT-3.5-turbo and Llama2-13b-chat, which draws an interesting analogy to human development. Code, data, and prompts can be found at: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.

연구 동기 및 목표

• 동기: 동적이고 미세한 수준의 페르소나를 통한 인지적 시너지를 시뮬레이션하여 LLM의 사실적 환각을 줄이고 추론을 향상시키기.
• 목표: 단일 LLM이 외부 도구나 미세조정 없이 여러 페르소나를 식별, 시뮬레이션, 협업하도록 하여 일반적 문제 해결을 가능하게 하기.
• SPP를 지식 집중 및 추론 집중 도메인에 걸친 과제에서 평가하여 효과성과 emergent 속성을 연구하기

제안 방법

• SPP는 단일 LLM에 대해 작업을 위해 여러 페르소나(리더 AI 어시스턴트 포함)를 식별하도록 프롬프트한다.
• 참여자들은 자신들의 관점에서 아이디어를 브레인스토밍한 뒤, AI 어시스턴트가 초기 해결책을 제안하고 피드백을 반복적인 자기 협업에서 요청한다.
• 고정되거나 수동으로 정의된 페르소나를 대체하는 동적이고 제로샷의 페르소나 식별.
• 작업 간 비교 분석을 Standard Prompting, Chain-of-Thought, Self-Refine와 수행.
• 다중 턴 협업을 모델링하기 위한 SPP 워크플로우와 중간 생성물(z_p, z_b, z_s, z_f)의 형식적 설명.
• 평가는 GPT-4를 다중 작업 및 변형(SPP-Fixed-Persona, SPP-Profile)으로 포함하여 동적 페르소나의 필요성을 분석

실험 결과

연구 질문

• RQ1 외부 도구나 미세조정 없이도 동적 다중 페르소나 자가 협업을 통해 인지적 시너지를 활용하여 지식 및 추론 과제를 개선할 수 있는가?
• RQ2 emergent 인지적 시너지가 GPT-4 수준의 가장 능력이 있는 모델에서만 나타나고 더 작은 모델(GPT-3.5-turbo, Llama2-13b)에서는 나타나지 않는가?
• RQ3 동적이고 미세한 페르소나가 필수적인가, 아니면 고정적/일반 페르소나로도 도메인 지식을 이끌어낼 수 있는가?
• RQ4 시演 디자인과 페르소나 수가 SPP의 효과에 어떤 영향을 미치는가?
• RQ5 지식 집중 과제에서 SPP가 사실적 환각에 미치는 영향은 전통적 프롬프트와 비교하여 어떤가?

주요 결과

• SPP는 Trivia Creative Writing, Codenames Collaborative, Logic Grid Puzzle에서 Standard Prompting, Chain-of-Thought, Self-Refine보다 유의하게 높은 성능을 보인다.
• 인지적 시너지는 GPT-4급 모델에서만 나타나고 GPT-3.5-turbo나 Llama-13b-chat에서는 나타나지 않는다.
• 동적이고 미세하게 자동으로 식별된 페르소나가 고정 페르소나 변형(SPP-Fixed-Persona)보다 우수하다.
• SPP는 여러 작업에서 사실적 환각을 줄이면서 추론 성능을 유지하거나 향상시킨다.
• Trivia Creative Writing에서 트리비아 문제 수가 증가할수록 SPP의 이득이 커진다(N=10 vs N=5).
• SPP-Profile(페르소나 프로필)는 일반 SPP를 능가하지 못해 페르소나 이름만으로도 도메인 지식을 이끌어낼 수 있음을 시사한다.