[논문 리뷰] Towards a Science of Collective AI: LLM-based Multi-Agent Systems Need a Transition from Blind Trial-and-Error to Rigorous Science

Jingru Fan, Dewen Liu외 16명|arXiv (Cornell University)|2026. 02. 05.

Topic Modeling인용 수 0

한 줄 요약

이 논문은 협력 이득 지표(Gamma)와 요소 귀속 패러다임을 이용한 협력 기반 다중 에이전트 시스템(MAS)을 위한 과학적 프레임워크를 제시하고, 구조화된 MAS 요소 라이브러리를 바탕으로 맹목적 실험에서 엄밀한 설계 과학으로의 전환을 촉진한다.

ABSTRACT

Recent advancements in Large Language Models (LLMs) have greatly extended the capabilities of Multi-Agent Systems (MAS), demonstrating significant effectiveness across a wide range of complex and open-ended domains. However, despite this rapid progress, the field still relies heavily on empirical trial-and-error. It lacks a unified and principled scientific framework necessary for systematic optimization and improvement. This bottleneck stems from the ambiguity of attribution: first, the absence of a structured taxonomy of factors leaves researchers restricted to unguided adjustments; second, the lack of a unified metric fails to distinguish genuine collaboration gain from mere resource accumulation. In this paper, we advocate for a transition to design science through an integrated framework. We advocate to establish the collaboration gain metric ($Γ$) as the scientific standard to isolate intrinsic gains from increased budgets. Leveraging $Γ$, we propose a factor attribution paradigm to systematically identify collaboration-driving factors. To support this, we construct a systematic MAS factor library, structuring the design space into control-level presets and information-level dynamics. Ultimately, this framework facilitates the transition from blind experimentation to rigorous science, paving the way towards a true science of Collective AI.

연구 동기 및 목표

• MAS 설계에서 귀속 모호성과 원칙적 가이드의 필요성 식별.
• 자유자재 자원 효과에서 genuine 협력을 분리하기 위한 협력 이득 지표(Gamma) 도입.
• 협력 주도 요인을 체계적으로 식별하기 위한 요인 귀속 패러다임 개발.
• 설계 공간을 제어 및 정보 수준으로 구성하는 체계적 MAS 요인 라이브러리 구축.
• 데이터에 의존한 경험적 접근에서 과학적 방법론으로 MAS 구축을 전환하기 위한 경로 제시.

제안 방법

• 자원과 동일한 예산 하에서 MAS의 성능을 단일 에이전트 시스템과 비교한 지표로서 Gamma를 정의하여 자원 효과에서 협력 이득을 분리.
• 두 단계 요인 귀속 프로세스 제안: (a) 어떤 요인이 개선을 가져오는지 테스트, (b) Gamma를 사용하여 진정한 협력 이득(Gamma>1) 여부 확인.
• 외부의 작업 맥락과 내부의 MAS 구성으로 요인을 구분하고 제어 및 정보 수준으로 나눈 구조화된 MAS 요인 라이브러리 생성.
• 요인에 대한 이득 귀속을 위한 지표와 진단 절차를 기술하되, 안정성 필터링을 통해 Gamma>1 결론의 강건성을 확보.
• 프레임워크를 분류 체계와 시스템적 실험 및 평가를 위한 지침으로 구성.

실험 결과

연구 질문

• RQ1 협력 이득(Gamma)을 어떻게 정의하고 운용화하여 진정한 협력과 자원 확장의 차이를 분리할 수 있는가?
• RQ2 Gamma를 사용하여 MAS 성능 향상을 특정 설계 요인에 귀속시키는 과정은 어떻게 되는가?
• RQ3 구조화된 MAS 요인 라이브러리가 원칙 있는 설계와 요인에 대한 체계적 연구를 어떻게 촉진하는가?
• RQ4 맹목적 시도에서 과학적 탐구로 MAS 설계를 전환하기 위한 견고하고 재현 가능한 워크플로우는 무엇인가?

주요 결과

• Gamma는 동일한 자원 예산 하에서 단일 에이전트 기준선에 대한 MAS 성능 비로 정의되며, Gamma>1은 진정한 협력 이득을 나타낸다.
• 이진 귀속 프레임워크는 요인을 Class I(양수, Gamma>1)와 Class II(음수, Gamma≤1)로 분류하여 비효율적 설계를 가지치기한다.
• 두 단계 요인 귀속 프로세스는 고정 예산에서 실험을 예열한 뒤, Gamma와 안정성 필터링으로 요인을 검증한다.
• 외부 작업 맥락과 내부 MAS 구성으로 구분하고, 내부 요인은 제어(정적 프리셋)와 정보(동적 메커니즘)로 더 나눈 MAS 요인 라이브러리가 제안된다.
• 정보 수준의 지표(콘텐츠 엔트로피 및 진화 거리)를 도입하여 역동적 협력 과정을 추적하고 의미 있는 수렴과 잡음 간의 구분을 가능하게 한다.