[論文レビュー] Can AI Agents Agree?

Frédéric Berdoz, Leonardo Rugli+1 more|arXiv (Cornell University)|Mar 1, 2026

Mobile Crowdsensing and Crowdsourcing被引用数 0

ひとこと要約

このプレプリントは、LLMベースのエージェントがno-stake設定でスカラー値に関してビザンティン合意を達成できるかを検討し、信頼できる合意がまだ確実な出現能力とは言えないと結論付けている。ごく少数のビザンティンエージェントが存在しても、タイムアウトや収束の停滞といった稼働性の障害のため、合意性能はさらに低下する。

ABSTRACT

Large language models are increasingly deployed as cooperating agents, yet their behavior in adversarial consensus settings has not been systematically studied. We evaluate LLM-based agents on a Byzantine consensus game over scalar values using a synchronous all-to-all simulation. We test consensus in a no-stake setting where agents have no preferences over the final value, so evaluation focuses on agreement rather than value optimality. Across hundreds of simulations spanning model sizes, group sizes, and Byzantine fractions, we find that valid agreement is not reliable even in benign settings and degrades as group size grows. Introducing a small number of Byzantine agents further reduces success. Failures are dominated by loss of liveness, such as timeouts and stalled convergence, rather than subtle value corruption. Overall, the results suggest that reliable agreement is not yet a dependable emergent capability of current LLM-agent groups even in no-stake settings, raising caution for deployments that rely on robust coordination.

研究の動機と目的

• no-stakeスカラー合意タスクにおけるLLMベースのエージェントの合意能力を評価する。
• モデルサイズ、グループサイズ、ビザンティン割合が合意結果に与える影響を定量化する。
• 生存性（タイムアウト、収束の停滞）による障害と値の改ざんを区別する。
• 制限されたビザンティン脅威モデルと制御されたプロンプト設定の下での頑健性を検証する。

提案手法

• Nエージェントのスカラー値を[0, 50]で提案する同期的な全対全ネットワークをシミュレートする。
• ビザンティン割合fを{0, 1/9, 2/9, 1/3}として導入し、ビザンティン挙動を制約する（全受信者へ同じメッセージを送る）。
• プロンプトにビザンティン認識の手掛かりを含むか omission するかを含む、LLMベースのポリシー(Qwen3-8B/14B)を使用する。
• 終了条件を「エージェントの2/3が停止を投票すること」と定義する。結果は有効な合意、無効な合意、タイムアウトのいずれか。
• 構成ごとに25回の繰り返しを Tmax = 50ラウンドで評価する。
• モデルサイズ、グループサイズ（N ∈ {4,8,16}）ごとに提案、終了決定、稼働性と有効性を分析する。
• A2A-Simによる再現可能なセットアップを提供し、95% Wilson信区間で報告する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのエージェントは、 benign条件の下でno-stakeスカラー設定において有効な合意を達成できるか。
• RQ2 グループサイズの増加はLLMエージェントの合意における生存性と合意にどのように影響するか。
• RQ3 ビザンティン割合の導入は合意結果と生存性にどのような影響を与えるか。
• RQ4 値の改ざんよりもタイムアウトや収束の停滞といった生存性の問題が障害を生む主因か。
• RQ5 モデルサイズとプロンプトデザインは合意性能と頑健性にどのような影響を与えるか。

主な発見

• 有効な合意はビザンティンエージェントがいなくても信頼できないことがある；グループが大きくなると収束が遅くなり成功率が下がる。
• benign設定ではQwen3-14BはQwen3-8Bより優れるが、両方ともタイムアウトが高い。ビザンティンエージェントに言及するプロンプトは生存性を低下させる。
• ビザンティンエージェントを導入すると合意の成功率はさらに低下する；有効な合意は依然としてまれであり、無効な合意は依然としてまれ。
• 断片的な合意は主に生存性の喪失（タイムアウト/収束の停滞）によるもので、ビザンティンエージェントによる意図的な値の改ざんが原因ではない。
• モデルサイズやグループサイズを超えて障害が観測されており、現状のLLMエージェントによる協調は信頼できる合意にはまだ頑健でない。