[論文レビュー] ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs

Justin Chih-Yao Chen, Swarnadeep Saha+1 more|arXiv (Cornell University)|Sep 22, 2023

Semantic Web and Ontologies被引用数 4

ひとこと要約

ReConcileは、ChatGPT、Bard、Claude2などの多様な大規模言語モデル（LLM）が反復的な円卓会議に参加することで、合意形成を通じて推論を向上させるマルチモデル・マルチエージェントフレームワークを提案する。信頼度加重投票と説得力のある説明生成を組み合わせることで、ReConcileは推論性能を向上させ、GPT-4の正確性を10.0%向上させ、主要ベンチマークで先行するベースラインを7.7%上回った。

ABSTRACT

Large Language Models (LLMs) still struggle with natural language reasoning tasks. Motivated by the society of minds (Minsky, 1988), we propose ReConcile, a multi-model multi-agent framework designed as a round table conference among diverse LLM agents. ReConcile enhances collaborative reasoning between LLM agents via multiple rounds of discussion, learning to convince other agents to improve their answers, and employing a confidence-weighted voting mechanism that leads to a better consensus. In each round, ReConcile initiates discussion between agents via a 'discussion prompt' that consists of (a) grouped answers and explanations generated by each agent in the previous round, (b) their confidence scores, and (c) demonstrations of answer-rectifying human explanations, used for convincing other agents. Experiments on seven benchmarks demonstrate that ReConcile significantly improves LLMs' reasoning -- both individually and as a team -- surpassing prior single-agent and multi-agent baselines by up to 11.4% and even outperforming GPT-4 on three datasets. ReConcile also flexibly incorporates different combinations of agents, including API-based, open-source, and domain-specific models, leading to an 8% improvement on MATH. Finally, we analyze the individual components of ReConcile, demonstrating that the diversity originating from different models is critical to its superior performance. Code: https://github.com/dinobby/ReConcile

研究の動機と目的

• 大規模言語モデルにおける単一モデル推論の限界、特に自己自己評価における思考の劣化とマルチエージェントディベートにおけるモデルバイアスを解消すること。
• 異なるモデルファミリーに属する多様な大規模言語モデルエージェントが、構造化された会議を通じて協働的に推論を改善できるかを調査すること。
• マルチモデル・マルチエージェント推論システムにおける信頼度推定と説得力のある説明生成の影響を調査すること。
• 多様なモデル間の協働的会議が、既存のディベートベースのアプローチよりも速く正確な合意に到達できることを実証すること。

提案手法

• ReConcileは、ChatGPT、Bard、Claude2などの異なる大規模言語モデル（LLM）をエージェントとして用いることで、多様な推論と知識基盤を確保するマルチモデル・マルチエージェント設定を採用する。
• 各ラウンドの会議は、過去の回答、不確実性推定値、人間がアノテートした是正説明を含む構造化された「会議プロンプト」によって開始され、説得を促進する。
• エージェントは他のエージェントからのインサイトに基づいて自身の回答を再検討し、誤りを是正するか、正しい回答の信頼度を強化するための議論を展開する。
• 信頼度加重投票メカニズムにより最終予測が集約され、各エージェントの信頼度スコアが合意形成における投票の重みに影響を与える。
• 複数の会議ラウンドをサポートしており、合意に到達するか最大ラウンド数に達するまで反復的改善が可能である。
• 本手法は、共通認識および数学的推論ベンチマークを用いて評価され、単一エージェントおよびマルチエージェントベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 異なるモデルファミリーに属する多様な大規模言語モデルエージェントが、構造化された会議を通じて協働的に推論性能を向上させられるか？
• RQ2 信頼度推定と説得力のある説明生成を組み込むことで、既存のディベートや自己最適化手法と比較して、より速く正確な合意に到達できるか？
• RQ3 GPT-4のような高性能モデルが、他の多様なモデルと協働してReConcile会議に参加することで、自身の推論能力をどの程度向上させられるか？
• RQ4 収束速度と最終的な正確性の観点から、ReConcileの合意形成メカニズムはマルチエージェントディベートベースラインと比べてどのように異なるか？

主な発見

• ReConcileは、複数のベンチマークで推論性能を顕著に向上させ、先行する単一エージェントおよびマルチエージェントベースラインを平均7.7%上回った。
• GPT-4がReConcileのエージェントの1つとして参加した場合、他のモデルからのフィードバックと会議を通じて、初期の正確性が10.0パーセンテージポイント上昇した。
• ReConcileは、各会議ラウンドごとに観察される正確性の向上から、マルチエージェントディベートベースラインと比較してより速く、より良い合意に到達した。
• 本手法は、多様なモデルの強みと信頼度加重投票、説得力のあるフィードバックを組み合わせることで、より強固で正確な推論結果が得られることを示した。
• ReConcileは、いくつかのベンチマークでGPT-4を上回った。これは、多様なモデル間の協働的推論が、最も高度な単一モデルの性能をも超える可能性を示している。
• フレームワークが事後的な信頼度推定とAPIベースのモデルに依存している点が制限要因であるが、これらの制約にもかかわらず、結果は依然として強固であった。