[論文レビュー] Towards a Science of Collective AI: LLM-based Multi-Agent Systems Need a Transition from Blind Trial-and-Error to Rigorous Science

Jingru Fan, Dewen Liu+16 more|arXiv (Cornell University)|Feb 5, 2026

Topic Modeling被引用数 0

ひとこと要約

この論文は、協調ゲイン指標（Gamma）と要因帰因パラダイムを用いた協調型多エージェントシステム（MAS）の科学的枠組みを提案し、構造化されたMAS要因ライブラリを通じて、盲目的な試行錯誤から厳密な設計科学へ移行することを主張する。

ABSTRACT

Recent advancements in Large Language Models (LLMs) have greatly extended the capabilities of Multi-Agent Systems (MAS), demonstrating significant effectiveness across a wide range of complex and open-ended domains. However, despite this rapid progress, the field still relies heavily on empirical trial-and-error. It lacks a unified and principled scientific framework necessary for systematic optimization and improvement. This bottleneck stems from the ambiguity of attribution: first, the absence of a structured taxonomy of factors leaves researchers restricted to unguided adjustments; second, the lack of a unified metric fails to distinguish genuine collaboration gain from mere resource accumulation. In this paper, we advocate for a transition to design science through an integrated framework. We advocate to establish the collaboration gain metric ($Γ$) as the scientific standard to isolate intrinsic gains from increased budgets. Leveraging $Γ$, we propose a factor attribution paradigm to systematically identify collaboration-driving factors. To support this, we construct a systematic MAS factor library, structuring the design space into control-level presets and information-level dynamics. Ultimately, this framework facilitates the transition from blind experimentation to rigorous science, paving the way towards a true science of Collective AI.

研究の動機と目的

• MAS設計における帰因の曖昧さと原理的ガイダンスの必要性を特定する。
• 協調ゲイン指標（Gamma）を導入して、リソーススケーリングから genuine な協調を分離する。
• 協調を駆動する要因を体系的に同定するための要因帰因パラダイムを開発する。
• 設計空間を制御レベルと情報レベルに整理する体系的なMAS要因ライブラリを構築する。
• MASの構築を経験的実践から科学的方法論へ転換する道筋を提案する。

提案手法

• Gammaを、同等リソース下でのMASと単一エージェント系统の性能比として定義し、リソース効果から協調ゲインを分離する。
• 二段階の要因帰因プロセスを提案する： (a) 要因が改善をもたらすかをテスト、(b) Gammaを用いて genuine な協調ゲインを検証する（Gamma>1）。
• 外部タスクコンテキストと内部MAS構築に分け、制御と情報レベルを備えた構造化されたMAS要因ライブラリを作成する。
• ガ Inのゲイン帰因の指標と診断手順を説明し、堅牢なGamma>1の結論を保証する安定性フィルタリングを含める。
• 体系的な実験と評価のための分類法とガイドラインに枠組みを整理する。

実験結果

リサーチクエスチョン

• RQ1 協調ゲイン（Gamma）をどのように定義・運用化して、 genuine な協調とリソーススケーリングを分離できるか。
• RQ2 Gammaを用いてMASの性能向上を特定の設計要因に帰因するプロセスはどうなるか。
• RQ3 構造化されたMAS要因ライブラリが principled な設計と要因の体系的調査をどう促進するか。
• RQ4 盲目的な試行錯誤から科学的探究への転換を実現する、頑健で再現性のあるワークフローは何か。

主な発見

• Gammaは、同じリソース予算下でのMASの性能と単一エージェントのベースラインの比として定義され、Gamma>1は genuine な協調ゲインを示す。
• 二値帰因フレームワークは、要因をClass I（陽性、Gamma>1）とClass II（陰性、Gamma≤1）に分類して効果のない設計を剪定する。
• 二段階の要因帰因プロセスは、固定予算で実験を事前条件づけし、 Gammaと安定性フィルタリングで要因を検証する。
• 外部タスクコンテキストと内部MAS構築を分離し、内部要因をさらに制御（静的プリセット）と情報（動的メカニズム）に整理するMAS要因ライブラリを提案する。
• 情報レベルの指標（内容エントロピーと進化距離）を導入し、動的な協調プロセスを追跡し、意味のある収束とノイズを区別する。