[논문 리뷰] Breaking the Martingale Curse: Multi-Agent Debate via Asymmetric Cognitive Potential Energy

Yuhan Liu, Juntian Zhang외 5명|arXiv (Cornell University)|2026. 03. 06.

Topic Modeling인용 수 0

한 줄 요약

AceMAD는 피어 예측(peer-prediction) 메커니즘을 도입하여 이차(2차) 신념을 드러내고, 비대칭적 인지 잠재 에너지를 양의 드리프트로 전환하며, 다중 에이전트 토론(Multi-Agent Debate)에서 Martingale Curse를 깨뜨려 도전적인 과제에서 진실 복구를 개선한다.

ABSTRACT

Multi-Agent Debate (MAD) has emerged as a promising paradigm for enhancing large language model reasoning. However, recent work reveals a limitation:standard MAD cannot improve belief correctness beyond majority voting; we refer to this as the Martingale Curse. This curse arises because correlated errors cause agents to converge toward erroneous consensus, where debate merely reinforces collective mistakes rather than filtering noise. We propose AceMAD, a framework that breaks the Martingale Curse by harnessing asymmetric cognitive potential energy to transform MAD from a random walk into a directed convergence process with positive drift. Through a peer-prediction mechanism, agents predict their peers' belief distributions, revealing asymmetric cognitive potential: truth-holders not only know the correct answer but also anticipate the crowd's misconceptions, while the hallucinating majority remains blind to their collective error. This asymmetry creates a potential energy gap that we quantify via strictly proper scoring rules. We prove this cognitive potential manifests as information-theoretic superiority and, under nonlinear aggregation, converts into submartingale drift toward truth, directly breaking the Martingale Curse. Experiments on challenging subsets across six benchmarks show AceMAD recovers sparse truth signals even when initial majorities are incorrect, substantially outperforming baseline methods.

연구 동기 및 목표

• 상관된 오류 아래에서 표준 MAD의 Martingale Curse를 동기부여하고 형식화한다.
• 비대칭 인지 잠재 에너지와 동료 예측을 통해 MAD 역학을 변화시키는 AceMAD를 제안한다.
• 표준 MAD에 비해 정보이론적 및 확률적 드리프트 이점을 이론적으로 증명한다.
• 여러 벤치마크와 모델 계열에 걸친 도전적 하위 집합에서 AceMAD를 실증적으로 검증한다.

제안 방법

• 상관된 오류로 인해 잘못된 합의가 발생하는 Challenging Interval과 표준 MAD를 정의한다.
• 네 단계 프로토콜로 AceMAD를 도입한다: Argumentation(주장 제시), Signal Extraction(자기 신념과 동료 예측의 신호 추출), Verification(Brier 점수화), Non-linear Amplification(지수 가중치 업데이트).
• 이차적 신념과 Brier 점수를 통해 비대칭 인지 잠재 에너지를 형식화한다.
• 작은 증폭(η)에서 AceMAD가 표준 MAD에 대한 정보이론적 우위(Blackwell)와 진실 방향으로의 확률적 드리프트를 보인다는 것을 증명한다.
• 비선형 증폭이 어떻게 잠재력을 방향성 드리프트로 변환하는지 정량화하여 소수 집단으로부터도 진실로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 MAD에서 비대칭 인지 잠재 에너지를 생성하는 데 필요한 이질성 형태는 무엇인가?
• RQ2 Martingale Curse를 깨뜨리기 위한 이차적 동료 예측의 역할과 필요성은 무엇인가?
• RQ3 AceMAD의 증폭이 수렴 역학과 팀 규모에 따른 확장성에 어떤 영향을 미치는가?
• RQ4 다른 모델 계열(폐쇄형 대 개방형 소스)과 작업 유형(추론, 도메인 지식, 환각) 전반에 걸쳐 이득이 지속되는가?

주요 결과

방법	ARC-C	LogiQA	MMLU-Pro	TruthfulQA	MedQA	BBH	평균
Majority Voting	23.15	21.88	5.50	17.94	23.23	22.07	18.96
Decentralized MAD	41.67	22.19	6.88	33.63	23.23	44.14	28.62
Centralized MAD	41.67	22.19	8.72	39.51	24.19	39.66	29.32
Sparse MAD	43.52	22.19	8.72	32.74	23.23	47.24	29.61
AceMAD (T=2)	56.48	20.00	8.10	37.67	39.03	72.76	39.01
AceMAD (T=3)	56.48	37.74	8.72	39.91	38.39	78.28	49.92
AceMAD (T=5)	59.26	20.63	7.95	40.81	39.03	77.24	40.82

• AceMAD는 challenging 하위집합에서 기본 MAD 및 다수결 투표를 상당히 능가하며, 평균 이득이 주목할 만하다(예: GPT-4o-mini: AceMAD T=3은 49.92%를 달성, MAD 베이스라인은 22.1%).
• 동료 예측과 이차적 인지가 필수적이며, 비 예측 조건에서는 성능 저하가 크게 나타난다.
• 비선형 증폭이 인지 잠재 에너지를 양의 드리프트로 변환해 Martingale Curse를 깨뜨린다(정리 4.6).
• 이 프레임워크는 Blackwell 우위(표준 MAD보다 더 풍부한 정보 채널 제공)를 달성한다(정리 4.2).
• 확장은 어느 정도까지 도움이 되나, 실험에서 적당한 그룹 크기(N≈3–5)에서 최적 성능이 관찰되며, 더 큰 모임에서는 수익 감소 또는 악화가 있다.