[論文レビュー] Phase Transition for Budgeted Multi-Agent Synergy

Bang Liu, Linglong Kong+1 more|arXiv (Cornell University)|Jan 24, 2026

Complex Network Analysis Techniques被引用数 2

ひとこと要約

要約はここに入ります

ABSTRACT

Multi-agent systems can improve reliability, yet under a fixed inference budget they often help, saturate, or even collapse. We develop a minimal and calibratable theory that predicts these regimes from three binding constraints of modern agent stacks: finite context windows, lossy inter-agent communication, and shared failures among similar agents. Each leaf agent is summarized by a compute-performance scaling exponent $β$; communication is captured by a message-length fidelity curve $γ(m)$; dependence is captured by an effective shared-error correlation $ρ$; and a context window $W$ imposes hard fan-in limits that make hierarchy necessary. For binary success/failure tasks with majority aggregation, we prove a sharp phase transition for deep $b$-ary trees with correlated inputs and lossy communication: a single scalar $α_ρ$ (combining $γ(m)$, $ρ$, and fan-in $b$) determines whether weak signal is amplified to a nontrivial fixed point or washed out to chance. In the amplifying regime, we derive an organization exponent $s$ and show that budgeted synergy, i.e., outperforming the best single agent under the same total budget, occurs exactly when $s>β$, yielding closed-form compute allocation rules and explicit budget thresholds. We further characterize saturation via a mixing depth and provide a conservative clipped predictor that remains accurate across growth and saturation. A continuous-performance warm-up gives closed-form risks for star, chain, and tree organizations, making correlation- and communication-induced floors explicit and exposing the core design trade-offs in a smooth setting. Finally, we validate the predicted phase boundaries in controlled synthetic simulations and show how the same mechanisms explain the dominant bottlenecks reported in recent large-scale matched-budget studies of LLM agent-system scaling.

研究の動機と目的

• 現代のエージェントスタックにおける三つの結合制約を分離・説明する：有限コンテキストウィンドウ、エージェント間通信の劣化、共有された故障。
• 単一エージェントのスケーリングbeta、通信忠実度gamma(m)、共有故障相関rho、コンテキストウィンドウWによってパラメータ化された最小で校正可能なフレームワークを導入する。
• 二値および連続タスクの下で、星型・鎖型・樹形トップロジーといった標準的なトポロジーを横断して、予算付きマルチエージェントシステムの相転移を特徴付ける。
• 協調が現れるか飽和するかを予測する計算割り当てルール、予算閾値、ミキシング深度の概念を導出する。
• 制御された合成シミュレーションを通じて理論的予測を検証し、大規模LLMエージェントシステムのスケーリングにおける観察ボトルネックと関連付ける。

提案手法

• 葉エージェントを1エージェントの計算スケーリング指数betaでモデル化する。
• 通信を忠実度関数gamma(m)（2値）または歪みsigma_c^2(m)（連続）として表現する。
• 共有故障相関を葉の残差または誤差間の1つのパラメータrhoで符号化する。
• コンテキストウィンドウWを課してファンインを制限し、トポロジーの実現性を形成する。
• 予算Bの下で3つのトポロジー（星型、鎖型、階層木）を分析し、増幅対崩壊の相転移を導出する。
• 連続設定のMSEについて閉じた形の再帰を用い、2値多数決集約には鋭い相転移を用い、予算を考慮したトポロジー比較を行う。

Figure 11: Synthetic Monte Carlo sanity check for the binary majority tree under the $\rho$ -shared model and a binary symmetric channel with reliability $\gamma$ . We plot the root bias $\mu_{L}$ as a function of $\rho$ for $b=5$ , $\gamma=0.6$ , and $\mu_{0}=0.05$ . Curves show recursion predictio

実験結果

リサーチクエスチョン

• RQ1 固定総予算Bの下で、エージェントを追加すると予算付き協調が得られるのか、それとも飽和や崩壊するのか？
• RQ2 beta、gamma(m)、rho、Wが星型・鎖型・樹型トップロジーの相転移をどう決定するのか？
• RQ3 連続設定におけるリスクと閾値の閉じた式、および二値設定における増幅/崩壊の式は？
• RQ4 協調を達成するExplicitな予算閾値と計算割り当てルールは？
• RQ5 理論予測が制御された合成シミュレーションおよび大規模LLMエージェントシステムの予算規模の観察結果とどう整合するのか？

主な発見

• 深さのあるb進木と相関入力・通信劣化下で鋭い増幅–崩壊相転移が存在し、gamma(m)、rho、ファンインを組み合わせたスカラーalpha_rhoによって支配される。
• 増幅領域では組織指数sが導出され、s>betaのときだけ予算付き協調が発生し、計算割り当てと予算閾値の閉じた形が得られる。
• 木のミキシング深度は飽和閾値v*を生み、通信損失と共有相関のためにより深い木が性能を向上させるのを止めることがある。
• 連続的なウォームアップは星型・鎖型・樹型トポロジーのリスクを閉じた形で提供し、相関と通信の閾値を明らかにする。
• 実証的検証は制御された合成シミュレーションを用い、LLMエージェントシステムの大規模な matched-budget 研究で観察されるボトルネック（コンテキスト飽和、臨界以下のカスケード、収益の減少）と Mechanisms を結びつける。
• このフレームワークは設計診断（単調な通信曲線）とbeta、rho、gamma(m)、W、Bを推定するキャリブレーションテンプレートを提供する。