[論文レビュー] Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key?

Qineng Wang, Zihao Wang+3 more|arXiv (Cornell University)|Feb 28, 2024

Artificial Intelligence in Law被引用数 4

ひとこと要約

本稿では、多エージェント相互作用が大規模言語モデル（LLM）の推論を向上させるかどうかを調査するため、新しい多エージェントディスカッションフレームワーク「Conquer-and-Merge Discussion（CMD）」を提案する。驚くべきことに、強力な単一エージェントプロンプト（例示を含む）が、しばしば多エージェントの性能を同等または上回ることが判明し、多エージェントディスカッションが推論の向上に不可欠であるという仮定に疑問を呈する。特に、強固なプロンプトが使用される状況では顕著である。

ABSTRACT

Recent progress in LLMs discussion suggests that multi-agent discussion improves the reasoning abilities of LLMs. In this work, we reevaluate this claim through systematic experiments, where we propose a novel group discussion framework to enrich the set of discussion mechanisms. Interestingly, our results show that a single-agent LLM with strong prompts can achieve almost the same performance as the best existing discussion approach on a wide range of reasoning tasks and backbone LLMs. We observe that the multi-agent discussion performs better than a single agent only when there is no demonstration in the prompt. Further study reveals the common interaction mechanisms of LLMs during the discussion.

研究の動機と目的

• 多エージェントディスカッションがLLMの推論能力を顕著に向上させるという主張を再評価すること。
• 人間のグループディスカッションプロセスを模倣する新しい多エージェントディスカッションフレームワーク（CMD）を設計すること。
• 複数の推論ベンチマークとLLMバックボーンを対象に、単一エージェントプロンプトと多エージェントディスカッションを体系的に比較すること。
• 多エージェントディスカッションが単一エージェントプロンプトを上回る明確な利点を示す条件を同定すること。
• 多エージェントディスカッションにおける一般的な失敗モード（例：ジャッジの誤り、答えの誤った伝搬）を分析すること。

提案手法

• 人間のグループディスカッションのダイナミクスをインspiredした、新規の多エージェントディスカッションフレームワーク「Conquer-and-Merge Discussion（CMD）」を提案する。
• 4段階のパイプラインを設計：キックオフプロンプト、エージェント間相互作用、アルゴリズム的ディスカッションルール（例：投票、階層的構造）、結果集約。
• 投票、階層的ディベート、およびセクレタリー・エージェントによるタイブレーんクを含む、多様なディスカッションメカニズムを採用する。
• ECQA、GSM8k、FOLIO-wikiなど、多様なLLMバックボーン（例：Gemini Pro、Bard、GPT-4）を用いた複数の推論ベンチマークを用いる。
• 設定ごとのパフォーマンスを比較：例示を含む／含まない、エージェントチームにおける強力な／弱いLLM、構造化されたディスカッションルールの有無。
• プロンプトメカニズムの対称性に基づく分析を導入し、プロンプト品質が推論結果に与える役割を理解すること。

実験結果

リサーチクエスチョン

• RQ1 多エージェントディスカッションは、多様な推論タスクとLLMバックボーンにおいて一貫して推論パフォーマンスを向上させるのか？
• RQ2 多エージェントディスカッションが、例示を含む強力な単一エージェントプロンプトを上回る条件は何か？
• RQ3 投票や階層的ディベートなどの異なるディスカッションメカニズムは、推論結果にどのように影響するか？
• RQ4 多エージェントディスカッションにおける一般的な失敗モードは何か？それらは最終的な正確性にどのように影響するか？
• RQ5 弱いLLMは、多エージェント環境下で強いLLMと相互作用することで利益を得られるか？

主な発見

• ECQA、GSM8k、FOLIO-wikiベンチマークにおいて、強力で例示を補完するプロンプトを用いた単一エージェントLLMは、最良の多エージェントディスカッションフレームワークと同等のパフォーマンスを達成する。
• 多エージェントディスカッションが単一エージェントプロンプトを上回るのは、プロンプトに例示が含まれない場合に限る。これは、プロンプト品質が主要因であることを示唆する。
• 本研究では、2つの主要な失敗モードを同定した：ジャッジの誤り（推論ステップの誤った評価）と、誤った答えの伝搬（ flawed 推論チェーンに起因する誤った合意形成）。
• 多LLM環境では、弱いモデル（例：Bard）で駆動されるエージェントが、強いモデル（例：Gemini Pro）と相互作用することで推論パフォーマンスが向上する。これは、ディスカッションを通じた知識蒸留の可能性を示唆する。
• 強力なプロンプトが使用される場合、単一エージェントと多エージェントの間のパフォーマンスギャップは顕著に縮小する。これは、複雑な多エージェントアーキテクチャの必要性を疑問視するものである。
• CMDフレームワークは、人間のディスカッションダイナミクスを効果的に再現でき、相互作用メカニズムの体系的分析を可能にした。今後の多エージェント推論研究の新たなベンチマークを提供する。