[論文レビュー] SocraSynth: Multi-LLM Reasoning with Conditional Statistics

Edward Yi Chang|arXiv (Cornell University)|Jan 19, 2024

Natural Language Processing Techniques被引用数 6

ひとこと要約

SocraSynth は、対立する LLM エージェント間のソクラテス的対話と人間のモデレーターを通じて、条件付き統計、物議性のモジュレーション、文脈の洗練、合理性評価を活用してオープンエンドな推論を生成・評価し、対立する LLM エージェントと人間モデレーター間のソクラテス的対話を通じてバイアスと幻覚を低減する多言語・多エージェントプラットフォーム。

ABSTRACT

Large language models (LLMs), while promising, face criticisms for biases, hallucinations, and a lack of reasoning capability. This paper introduces SocraSynth, a multi-LLM agent reasoning platform developed to mitigate these issues. SocraSynth utilizes conditional statistics and systematic context enhancement through continuous arguments, alongside adjustable debate contentiousness levels. The platform typically involves a human moderator and two LLM agents representing opposing viewpoints on a given subject. SocraSynth operates in two main phases: knowledge generation and reasoning evaluation. In the knowledge generation phase, the moderator defines the debate topic and contentiousness level, prompting the agents to formulate supporting arguments for their respective stances. The reasoning evaluation phase then employs Socratic reasoning and formal logic principles to appraise the quality of the arguments presented. The dialogue concludes with the moderator adjusting the contentiousness from confrontational to collaborative, gathering final, conciliatory remarks to aid in human reasoning and decision-making. Through case studies in three distinct application domains, this paper showcases SocraSynth's effectiveness in fostering rigorous research, dynamic reasoning, comprehensive assessment, and enhanced collaboration. This underscores the value of multi-agent interactions in leveraging LLMs for advanced knowledge extraction and decision-making support.

研究の動機と目的

• LLMにおけるバイアス、幻覚、推論の限界を協調的な多エージェント推論プラットフォームの導入で緩和する必要性を動機づける。
• opposing LLM の視点と人間のモデレーターを活用した二段階ワークフロー（知識生成と推論評価）を提案する。
• 推論品質を高める4つのコアアルゴリズム革新—条件付き統計、物議性モジュレーション、文脈洗練、合理性評価—を紹介する。
• 知識の多様な領域でフレームワークをデモンストレーションし、情報品質、視点の多様性、意思決定支援能力の向上を示す。

提案手法

• テーマについて対立する視点を主張する二つの LLM と人間のモデレーターによる討論。
• 生成段階で条件付き統計を用いて論点と反論を作成し、文脈を段階的に洗練。
• 評価段階で CRIT アルゴリズムを用いて推論の正当性と信頼性を合理性優先で評価（真理よりも合理性）。
• 物議性モジュレーションにより討論を対立的なものから協調的なものへシフトし、バイアス緩和を支援。
• 文脈洗練により生成される推論の関連性と正確性を継続的に改善。
• 人間のジャッジ（複数の LLM を介して）は全体的な論点の質を評価し、好ましい側を決定する。

実験結果

リサーチクエスチョン

• RQ1 条件付き統計を用いた二エージェント討論は、モノローグ型の Q&A と比較して情報品質にどのような影響を与えるか？
• RQ2 CRIT ベースの推論評価は、主題を横断して論点の正当性と信頼性を確実に評価できるか？
• RQ3 動的な物議性がバイアス緩和と推論の深さに与える影響は？
• RQ4 反復的な討論は幻覚を減らし、ドメスティックなディスコースの文脈を改善するか？

主な発見

• 討論ベースの SocraSynth は、評価されたトピックで従来の Q&A よりも一般に情報品質が高い。
• CRIT ベースの推論評価は、論点と反論の信頼性を構造化された合理性重視のスコアリング機構として提供する。
• 物議性モジュレーションはより広範な視点を露出させ、LLM におけるモデルのバイアスを緩和するのに役立つ。
• 文脈洗練を伴う反復的ラウンドは、関連性の低いまたは論理的でない主張の持続性を低減する。
• このフレームワークは地政学、医療、営業戦略、知識キュレーションなどの分野で適用可能性を示し、幅広い有用性を示唆する。