[논문 리뷰] The Value of Variance: Mitigating Debate Collapse in Multi-Agent Systems via Uncertainty-Driven Policy Optimization

Luoxi Tang, Meng Yu외 4명|arXiv (Cornell University)|2026. 02. 06.

Multi-Agent Systems and Negotiation인용 수 0

한 줄 요약

계층적 불확실성 지표(Intra-, Inter-, 시스템 수준)를 도입하여 MAD 토론 붕괴를 진단하고 불확실성 주도 정책 최적화(UDPO)를 제안하여 공격 하에서도 정확도와 강건성을 개선한다.

ABSTRACT

Multi-agent debate (MAD) systems improve LLM reasoning through iterative deliberation, but remain vulnerable to debate collapse, a failure type where final agent decisions are compromised on erroneous reasoning. Existing methods lack principled mechanisms to detect or prevent such failures. To address this gap, we first propose a hierarchical metric that quantifies behavioral uncertainty at three levels: intra-agent (individual reasoning uncertainty), inter-agent (interactive uncertainty), and system-level (output uncertainty). Empirical analysis across several benchmarks reveals that our proposed uncertainty quantification reliably indicates system failures, which demonstrates the validity of using them as diagnostic metrics to indicate the system failure. Subsequently, we propose a mitigation strategy by formulating an uncertainty-driven policy optimization to penalize self-contradiction, peer conflict, and low-confidence outputs in a dynamic debating environment. Experiments demonstrate that our proposed uncertainty-driven mitigation reliably calibrates the multi-agent system by consistently improving decision accuracy while reducing system disagreement.

연구 동기 및 목표

• MAD 시스템에서 토론 붕괴를 진단하고 예방할 필요성을 제시한다.
• 불안정한 토론 역학을 감지하기 위한 세 수준 불확실성 정량화 프레임워크를 개발한다.
• MAD 중 자기 모순, 동료 간 갈등 및 낮은 신뢰도 출력에 패널티를 주는 UDPO를 제안한다.
• 자연 상황과 공격 상황에서 MAD의 정확도와 강건성을 개선했음을 보여준다.
• 불확실성에 따라 개별 에이전트에 맞춘 패널티를 조정하는 비대칭 최적화 접근을 제공한다.

제안 방법

• 자기 일관성의 척도로서 에이전트 내 전환율(flip rate)과 믿음 수정(belief revision)을 정의한다.
• 각 토론 라운드에서 쌍대 에이전트 간 충돌을 통해 에이전트 간 불일치를 정의한다.
• 정보 엔트로피, 최종 불일치, Leave-One-Out 불안정성을 사용하여 시스템 차원의 불확실성을 정의한다.
• 이들로 세 가지 불확실성 지표 U_intra, U_inter, U_sys를 집계하고 정답성과의 상관관계를 보인다.
• 불확실성 기반 보상 r_intra, r_inter, r_sys 및 작업 보상을 포함하는 UDPO를 공식화하고 에이전트별 계수를 가진 비대칭 목적함수를 구현한다.
• 정책 학습의 안정화를 위한 앵커링 항을 가진 잘린(Relative) 업데이트 목표를 사용한다.
• Warm-up 불확실성 프로파일에서 결정된 에이전트별 하이퍼파라미터를 도입해 필요한 학습 초점을 할당한다.

실험 결과

연구 질문

• RQ1 계층적 불확실성 지표가 MAD 시스템의 토론 붕괴를 신뢰성 있게 진단할 수 있는가?
• RQ2 에이전트 내, 에이전트 간, 시스템 차원의 불확실성이 잘못되거나 저하된 MAD 결과와 상관관계가 있는가?
• RQ3 불확실성 주도 정책 최적화가 강건성과 정확도를 향상시키는가, 특히 적대적 공격 하에서?
• RQ4 UDPO가 표준 MAD, MAPPO, RMAAC에 비해 정확도와 불확실성 감소 측면에서 어떤 차이가 있는가?
• RQ5 UDPO가 질문 난이도에 따라 어디서 언제 가장 큰 이득을 제공하는가?

주요 결과

데이터셋	에이전트 수 N	표준 MAD 정확도	표준 MAD U_in	표준 MAD U_ir	표준 MAD U_s	MAPPO 정확도	MAPPO U_in	MAPPO U_ir	MAPPO U_s	RMAAC 정확도	RMAAC U_in	RMAAC U_ir	RMAAC U_s	UDPO 정확도	UDPO U_in	UDPO U_ir	UDPO U_s
GSM8K	3	51.2	.231	.268	.372	64.8	.218	.185	.278	66.3	.205	.172	.258	84.6	.068	.052	.078
GSM8K	5	68.4	.228	.172	.285	73.6	.185	.145	.232	75.8	.168	.132	.215	92.3	.065	.038	.058
GSM8K	10	65.7	.235	.188	.298	70.2	.192	.158	.248	72.1	.175	.145	.228	89.8	.071	.055	.072
TruthfulQA	3	62.4	.225	.178	.275	68.5	.192	.152	.238	70.2	.185	.148	.225	85.2	.072	.058	.082
TruthfulQA	5	71.8	.218	.142	.235	74.2	.158	.122	.198	76.5	.152	.115	.188	88.7	.068	.048	.068
TruthfulQA	10	73.5	.222	.128	.218	76.8	.165	.108	.182	78.2	.158	.102	.172	91.4	.075	.035	.055
CSQA	3	68.2	.205	.162	.258	72.5	.172	.138	.222	74.1	.168	.132	.212	86.8	.062	.048	.072
CSQA	5	75.4	.198	.135	.225	78.2	.148	.112	.188	79.8	.142	.108	.178	91.5	.058	.032	.052
CSQA	10	73.8	.202	.148	.238	76.5	.155	.125	.202	77.2	.148	.118	.192	88.2	.064	.045	.065

• 불확실성 지표가 실패한 MAD 추론과 성공적인 MAD 추론을 신뢰성 있게 구분하며, 실패는 모든 수준에서 불확실성이 훨씬 더 높다.
• 세 가지 불확실성 지표가 정확도와 음의 상관관계를 보이며, 불확실성이 높을수록 성능이 낮아진다.
• UDPO는 표준 MAD 및 기준선 대비 상당한 정확도 향상을 보이며(GSM8K: N=5에서 표준 MAD 대비 최대 25포인트),
• UDPO는 시스템 차원의 불확실성을 크게 감소시켜 GSM8K에서 표준 MAD에 비해 약 80% 감소.
• 비대칭적, 불확실성 기반 최적화가 공격에 대한 강건성을 개선하고, 손상된 에이전트 수가 증가해도 높은 정확도를 유지한다.
• Ablation은 각 손실 구성요소가 서로 다른 실패 모드를 대상으로 하며, 어느 하나를 제거해도 정확도가 떨어지고 불확실성이 증가한다. 시스템 차원 손실이 정확도에 가장 큰 영향을 준다.