[논문 리뷰] RUMAD: Reinforcement-Unifying Multi-Agent Debate

Chao Wang, Han Lin외 3명|arXiv (Cornell University)|2026. 02. 27.

Reinforcement Learning in Robotics인용 수 2

한 줄 요약

RUMAD는 토큰 비용을 크게 줄이면서도 다수의 LLM 에이전트가 토론에서 커뮤니케이션을 동적으로 가지치고 가중치를 조정하는 강화 학습 컨트롤러를 학습시켜, 높은 정확도와 상당히 감소된 토큰 비용 그리고 우수한 제로샷 일반화를 달성한다.

ABSTRACT

Multi-agent debate (MAD) systems leverage collective intelligence to enhance reasoning capabilities, yet existing approaches struggle to simultaneously optimize accuracy, consensus formation, and computational efficiency. Static topology methods lack adaptability to task complexity variations, while external LLM-based coordination risks introducing privileged knowledge that compromises debate neutrality. This work presents RUMAD (Reinforcement-Unifying Multi-Agent Debate), a novel framework that formulates dynamic communication topology control in MAD as a reinforcement learning (RL) problem. RUMAD employs a content-agnostic observation scheme that captures high-level debate dynamics avoiding access to raw agent reasoning content. RUMAD uses a multi-objective reward to model solution quality, cohesion and efficiency. A PPO-trained controller dynamically adjusts edge weights in the communication graph, while a dual-threshold mechanism enables fine-grained control over both agent activation and information visibility. Experimental evaluation across MMLU, GSM8K, and GPQA benchmarks demonstrates that RUMAD achieves substantial efficiency gains, reducing token costs by over 80\%, while still improving reasoning accuracy compared to single LLM model and multiple MAD baselines. Notably, RUMAD trained exclusively on MMLU exhibits robust zero-shot generalization to out-of-domain (OOD) tasks, indicating that the learned communication strategies capture task-independent principles of effective multi-agent coordination. These results establish RUMAD as a efficient and robust approach for deploying multi-agent reasoning application with practical resource constraints.

연구 동기 및 목표

• MAD 시스템에서 정확도, 합의, 및 계산 효율성 간의 개선된Trade-offs 를 자극한다.
• privileged content access 없이도 커뮤니케이션 패턴을 적응시키는 콘텐츠 비의존적 RL 기반 토폴로지 컨트롤러를 개발한다.
• 성능과 토큰 사용 사이의 균형을 맞추는 다목적 보상 및 예산 메커니즘을 도입한다.
• 표준 벤치마크에서 강력한 효율성 증가 및 교차 도메인 일반화를 시연한다.

제안 방법

• MAD를 동적 가중 방향 그래프로 모델링하고, 에지 가중치를 조정하는 PPO 컨트롤러를 훈련한다.
• 원시 추론 콘텐츠에 접근하지 않고 에이전트 간 유사성 및 합의에 기반한 콘텐츠 비의존적 관찰 스킴을 사용한다.
• 에지 가중치를 0-1 가중치를 보장하기 위해 시그모이드를 통과시키는 확률적 가우시안 매개변수로 표현한다.
• 토큰 비용을 제어하기 위해 에이전트 활성화 및 정보 가시성에 대한 이중 임계치 메커니즘을 도입한다.
• 희박화를 정규화하고 토큰 사용을 제어하기 위해 예산 손실과 글로벌 예산 매개변수 B를 통한 소프트 예산을 적용한다.
• 즉시 이득과 에피소드 수준 목표를 균형 있게 다루는 두 계층 보상: 매 라운드 R_t와 종료 시점 R_ep를 도입한다.

실험 결과

연구 질문

• RQ1 RL 기반 토폴로지 제어가 정적 또는 완전 연결 기준선에 비해 MAD의 정확도-효율성 트레이드오프를 개선할 수 있는가?
• RQ2 콘텐츠 비의존적 컨트롤러가 제로샷 설정에서 작업 및 도메인 간 일반화가 되는가?
• RQ3 의사소통에 대한 명시적 예산 편성(B를 통한 예산화)이 성능 및 자원 사용에 어떤 영향을 미치는가?
• RQ4 각 구성 요소(에이전트 활성화, 예산 규제, 이중 계층 보상)가 전체 성능에 어떤 기여를 하는가?

주요 결과

• RUMAD는 MAD 대비 기저선과 비교했을 때 정확도 유지 또는 향상과 함께 토큰 비용을 대폭 줄인다(토큰 비용은 MMLU에서 최대 81.7%, GPQA에서 66% 감소).
• MMLU에서 B=12인 RUMAD는 68% 정확도와 작업당 11.43k 토큰을 달성(대조군 MAD는 49% 정확도와 62.58k 토큰).
• RUMAD는 B=12에서 GSM8K에서 86% 정확도와 작업당 10.46k 토큰을 달성하여 GD와 같은 기저선보다 훨씬 저렴하다(예: 76.90k 토큰).
• RUMAD로 학습된 모델은 GPQA 및 GSM8K에 대해 제로샷으로 일반화하여 유사한 성능을 보이며, 작업과 무관한 협력 원칙을 시연한다.
• 삭제 연구는 에이전트 활성화, 예산 손실 또는 다목적 보상을 제거하면 성능과 효율성이 저하됨을 보여주며, 이들의 필수적 역할을 강조한다.
• 예산 매개변수 B는 효율성과 정확도의 균형을 맞추는 조정 가능한 사전으로 작동하여 교차 도메인 성능을 해치지 않으면서 효과적으로 희박화를 가능하게 한다.