[논문 리뷰] Self-Compression of Chain-of-Thought via Multi-Agent Reinforcement Learning

Yiqun Chen, Jinyuan Feng외 10명|arXiv (Cornell University)|2026. 01. 29.

Reinforcement Learning in Robotics인용 수 0

한 줄 요약

SCMA를 소개하는 다에이전트 강화학습 프레임워크로, 세 가지 역할(Reasoning, Segmentation, Scoring)을 공동으로 훈련하여 테스트 시 오버헤드 없이 체인-오브-생각(chain-of-thought) 추론을 압축하고, 여러 모델과 데이터셋에서 길이를 줄이면서 정확도를 향상시킵니다.

ABSTRACT

The inference overhead induced by redundant reasoning undermines the interactive experience and severely bottlenecks the deployment of Large Reasoning Models. Existing reinforcement learning (RL)-based solutions tackle this problem by coupling a length penalty with outcome-based rewards. This simplistic reward weighting struggles to reconcile brevity with accuracy, as enforcing brevity may compromise critical reasoning logic. In this work, we address this limitation by proposing a multi-agent RL framework that selectively penalizes redundant chunks, while preserving essential reasoning logic. Our framework, Self-Compression via MARL (SCMA), instantiates redundancy detection and evaluation through two specialized agents: extbf{a Segmentation Agent} for decomposing the reasoning process into logical chunks, and extbf{a Scoring Agent} for quantifying the significance of each chunk. The Segmentation and Scoring agents collaboratively define an importance-weighted length penalty during training, incentivizing extbf{a Reasoning Agent} to prioritize essential logic without introducing inference overhead during deployment. Empirical evaluations across model scales demonstrate that SCMA reduces response length by 11.1\% to 39.0\% while boosting accuracy by 4.33\% to 10.02\%. Furthermore, ablation studies and qualitative analysis validate that the synergistic optimization within the MARL framework fosters emergent behaviors, yielding more powerful LRMs compared to vanilla RL paradigms.

연구 동기 및 목표

• 대형 추론 모델에서 불필요한 CoT 단계의 중복으로 인한 효율성 병목 현상을 줄여 추론을 개선한다.
• 전용 에이전트가 협력하여 추론 청크를 분해, 평가, 가지치기하되 정확도를 손실하지 않는다.
• 중요도 가중 길이 패널티를 사용하는 공유 보상을 정의하여 중복 제거를 선택적으로 수행한다.
• 공동 MARL 최적화가 다양한 모델 규모에서 더 짧은 추론 경로와 더 높은 정확도를 가져오고 있음을 입증한다.
• emergent한 미세 세부 압축 동작을 분석하고 배치 비용 없이도 학습 시간 이점을 보여준다

제안 방법

• SCMA를 세 가지 에이전트가 기본 LLM을 공유하는 MARL 시스템으로 포맷한다: Reasoning(생성 y), Segmentation(y를 구간으로 파싱), Scoring(각 구간의 중요도 w_i를 할당).
• naive한 길이 패널티를 중요도 가중 길이 패널티 R(y|x)=R_acc(y|x) - alpha f(sum_i phi(w_i)*|s_i|)로 대체하여 phi(w_i)가 중요도를 패널티 가중치로 매핑하도록 한다.
• Multi-Agent GRPO를 통해 theta를 공유하고 공통 글로벌 보상을 사용하여 Reasoning, Segmentation, Scoring 정책을 함께 발전시킨다.
• 각 에이전트에 대해 구조화된 관찰과 행동을 정의하고, 프롬프트 P_reason, P_seg, P_score 및 협업을 보장하는 XML 유사 제약을 사용한다.
• 가중 길이 제약하에 기대 정확도 최대화와 보상을 형식적으로 제공하여 MARL 학습의 안정성을 확보하는 등 equivalence를 증명한다

Figure 1: Overview of SCMA Compared to general RL with length penalty. (Left) The general RL calculates rewards by penalizing the length of the thinking process directly. (Right) The SCMA employs an importance-weighted length penalty within a multi-agent system.

실험 결과

연구 질문

• RQ1 RQ1: SCMA가 다수의 데이터셋과 모델 규모에서 기존 길이 패널티 RL 기반 방법보다 간결하면서도 정확한 추론을 달성할 수 있는가?
• RQ2 RQ2: 패널티 가중치 alpha가 추론 길이와 정확도 간의 트레이드오프에 어떤 영향을 미치며, 학습 중 SCMA의 안정성은 어떠한가?
• RQ3 RQ3: 미세한 압축을 달성하기 위해 다에이전트 협력 최적화가 필수적인가, 단일 에이전트 접근으로도 충분한가?
• RQ4 RQ4: SCMA 학습 중 미세한 세분화와 채점이 어떻게 나타나_semantic compression_을 가능하게 하는가?

주요 결과

• SCMA는 다양한 모델에서 추론 길이를 11.1%에서 39.0%까지 감소시키는 동시에 정확도를 4.33%에서 10.02%까지 증가시켰다.
• SCMA는 비교적 작은 기본 모델(예: Qwen3-8B)에서도 강력한 성능 향상을 달성하며 토큰 감소가 뚜렷하고(예: 한 설정에서 369 토큰), 전체 정확도도 높다(예: 75.42 전체).
• MARL 협력을 통한 학습은 RL+LP 방법에서의 붕괴를 방지하고 효율성과 정확도 모두에서 보다 안정적인 향상을 가져온다.
• 공동 최적화를 제거하거나 작은 세분화/채점 모듈을 사용할 경우 성능 저하가 발생하는 반면 협력 학습의 가치를 강조한다.
• 미세한 세분화 압축의 등장 근거가 있으며: Step 40까지 구간은 콘텐츠에 적응적이 되고 청크는 의미상 촘촘해지며 평균 점수는 높고 청크 수는 감소한다.

(a) GSM8K