[논문 리뷰] SocraSynth: Multi-LLM Reasoning with Conditional Statistics

Edward Yi Chang|arXiv (Cornell University)|2024. 01. 19.

Natural Language Processing Techniques인용 수 6

한 줄 요약

SocraSynth는 조건부 통계, 논쟁성 조절, 맥락 정제, 그리고 합리성 평가를 사용하여 개방형 추론을 생성하고 평가하는 다중-LM 에이전트 플랫폼으로, 서로 대립하는 LLM 에이전트 간의 소크라테스식 대화와 인간 중재자를 통해 편향과 환각을 감소시킨다.

ABSTRACT

Large language models (LLMs), while promising, face criticisms for biases, hallucinations, and a lack of reasoning capability. This paper introduces SocraSynth, a multi-LLM agent reasoning platform developed to mitigate these issues. SocraSynth utilizes conditional statistics and systematic context enhancement through continuous arguments, alongside adjustable debate contentiousness levels. The platform typically involves a human moderator and two LLM agents representing opposing viewpoints on a given subject. SocraSynth operates in two main phases: knowledge generation and reasoning evaluation. In the knowledge generation phase, the moderator defines the debate topic and contentiousness level, prompting the agents to formulate supporting arguments for their respective stances. The reasoning evaluation phase then employs Socratic reasoning and formal logic principles to appraise the quality of the arguments presented. The dialogue concludes with the moderator adjusting the contentiousness from confrontational to collaborative, gathering final, conciliatory remarks to aid in human reasoning and decision-making. Through case studies in three distinct application domains, this paper showcases SocraSynth's effectiveness in fostering rigorous research, dynamic reasoning, comprehensive assessment, and enhanced collaboration. This underscores the value of multi-agent interactions in leveraging LLMs for advanced knowledge extraction and decision-making support.

연구 동기 및 목표

• 협력적 다중 에이전트 추론 플랫폼을 도입하여 LLM의 편향, 환각, 제한된 추론을 완화해야 한다는 필요성을 제고한다.
• 서로 다른 LLM 관점과 인간 중재자를 활용하는 지식 생성과 추론 평가의 두 단계 워크플로를 제안한다.
• 추론 품질을 향상시키기 위한 네 가지 핵심 알고리즘 혁신—조건부 통계, 논쟁성 조절, 맥락 정제, 그리고 합리성 평가—을 도입한다.
• 정보 품질의 향상, 관점 다양성, 의사결정 지원 역량을 보여주기 위해 다양한 도메인에서 프레임워크를 시연한다.

제안 방법

• 주제에 대해 LLM들이 상반된 관점을 주장하는 인간 중재자가 있는 이중 LLM 토론.
• 조건부 통계를 사용하여 주장을 제시하고 반박주장을 생성하며 맥락을 점진적으로 정제하는 생성 단계.
• CRIT 알고리즘을 사용하여 주장의 타당성과 신뢰성을 합리성을 우선시하는 방식으로 평가하는 평가 단계.
• 편향 완화를 돕기 위해 대립적에서 협력적 대화로 토론의 논쟁성을 조정한다.
• 생성된 추론의 관련성과 정확성을 지속적으로 향상시키기 위한 맥락 정제.
• 인간 심판자들(다수의 LLM을 통해)이 전체 주장의 질을 평가하고 선호되는 입장을 결정한다.

실험 결과

연구 질문

• RQ1 조건부 통계를 이용한 두 에이전트 간 토론이 정보 품질에 미치는 영향은 독백 Q&A에 비해 어떠한가?
• RQ2 CRIT 기반 추론 평가가 주제에 관계없이 주장의 타당성과 신뢰성을 신뢰성 있게 평가할 수 있는가?
• RQ3 동적 논쟁성이 편향 완화와 추론 깊이에 미치는 영향은 무엇인가?
• RQ4 반복 토론이 환각을 줄이고 다양한 도메인에서 담론의 맥락을 개선하는가?

주요 결과

• 토론 기반의 SocraSynth는 평가 대상 주제들에서 전통적인 Q&A보다 일반적으로 더 높은 정보 품질을 산출한다.
• CRIT 기반 추론 평가는 주장과 반박 주장에 대해 체계적이고 합리성에 초점을 맞춘 신뢰도 점수 매커니즘을 제공한다.
• 논쟁성 조절은 더 넓은 관점을 드러내고 LLM의 편향을 완화하는 데 도움을 준다.
• 맥락 정제가 포함된 반복 라운드는 관련 없거나 비논리적인 주장들의 지속성을 줄인다.
• 이 프레임워크는 지정학, 의학, 영업 전략, 지식 큐레이션 같은 도메인에서 활용 가능성을 입증하며 광범위한 유용성을 시사한다.