[논문 리뷰] Hierarchical Lead Critic based Multi-Agent Reinforcement Learning

David Eckel, Henri Meeß|arXiv (Cornell University)|2026. 02. 25.

Reinforcement Learning in Robotics인용 수 0

한 줄 요약

Hierarchical Lead Critic (HLC)을 소개하는 다-에이전트 강화학습 아키텍처로, 중첩된 순차 업데이트 스킴과 mixture-of-experts actor를 통해 로컬 및 그룹 수준의 관점에서 학습하며, 통신 없이 협력적이고 부분 관찰 가능한 MARL에서 성능과 샘플 효율성을 향상시킵니다.

ABSTRACT

Cooperative Multi-Agent Reinforcement Learning (MARL) solves complex tasks that require coordination from multiple agents, but is often limited to either local (independent learning) or global (centralized learning) perspectives. In this paper, we introduce a novel sequential training scheme and MARL architecture, which learns from multiple perspectives on different hierarchy levels. We propose the Hierarchical Lead Critic (HLC) - inspired by natural emerging distributions in team structures, where following high-level objectives combines with low-level execution. HLC demonstrates that introducing multiple hierarchies, leveraging local and global perspectives, can lead to improved performance with high sample efficiency and robust policies. Experimental results conducted on cooperative, non-communicative, and partially observable MARL benchmarks demonstrate that HLC outperforms single hierarchy baselines and scales robustly with increasing amounts of agents and difficulty.

연구 동기 및 목표

• 협력적이고 부분 관찰 가능한 설정에서 단일 시야 MARL(로컬 대 글로벌)의 한계를 해결한다.
• 여러 계층 수준에서 학습하는 프레임워크를 개발하여 조정 및 정책 품질을 향상한다.
• 다수의 크리틱을 결합할 때의 그래디언트 충돌을 피하는 안정적인 학습 스킴을 제안한다.
• Lead Critic 개념과 전체 상태 접근 없이 그룹 수준 정보를 처리할 수 있는 아키텍처를 도입한다.

제안 방법

• Hierarchical Lead Critic (HLC)이 Lead Critics가 이끄는 그룹으로 에이전트를 조직하고, 에이전트 수준에서 로컬 크리틱을 두도록 제안한다.
• 희소 리셉티브 필드가 증가하는 크리틱들에 의해 배우를 업데이트하는 중첩된 순차 업데이트 스킷을 사용하고, 매 업데이트 후 행동을 재샘플링한다.
• 교차 주의(attention)와 다중 처리 경로를 융합하는 mixture-of-experts 스타일 모듈을 갖춘 배우 아키텍처를 도입한다.
• CTDE 하에서 Soft Actor-Critic (SAC)을 채택하고, 로컬 및 Lead Critic 신호를 모두 포함하는 배우 손실을 계산한다.
• Lead Critics를 Observation-Action 쌍을 사용해 그룹 에이전트를 평가하는 Transformer-Encoder 기반 아키텍처로 구현한다.

Figure 1: Hierarchical Lead Critic (HLC) structure. Agents are evaluated by all related critics (local critics and Lead Critics) sequentially.

실험 결과

연구 질문

• RQ1 더 많은 계층 수준(local, group-level Lead Critics, 그리고 중앙집중형 관점과 같은 관점)이 부분 관찰이 있는 협력 MARL에서 학습과 조정을 개선할 수 있는가?
• RQ2 중첩된 순차 업데이트 스킴이 그래디언트 충돌을 줄이고 단일 크리틱 기준선에 비해 샘플 효율성을 개선하는가?
• RQ3 Cross-attention을 갖춘 mixture-of-experts 영감을 받은 배우 아키텍처가 학습 중 다층 가이던스를 어떻게 지원하는가?
• RQ4 Lead Critics가 통신 없이 더 많은 에이전트와 더 어려운 작업에서 확장성과 성능에 미치는 영향은 무엇인가?

주요 결과

• HLC는 협력적이고 비통신적이며 부분 관찰 가능한 MARL 벤치마크에서 단일 계층 기준선(독립 로컬 크리틱 및 중앙집중식 크리틱)을 능가합니다.
• 중첩된 순차 업데이트 스킴은 충돌하는 그래디언트를 피하고 안정적인 학습 신호와 높은 샘플 효율성을 제공합니다.
• 교차 주의가 있는 mixture-of-experts 스타일 HLC 배우가 크리틱 계층 구조와 정렬된 더 풍부한 표현을 가능하게 하여 조정을 개선합니다.
• HLC는 더 큰 에이전트 수와 더 어려운 작업으로의 확장성에 대해 강건한 성능과 부분 관찰 하에서의 견고성을 보여줍니다.
• Escort 및 Surveillance 작업에 대한 실험에서 HLC가 HASAC 및 ISAC 기준선과 비교해 탁월한 성능과 견고함을 달성합니다.

Figure 2: HLC sequential updating scheme for a selected agent with a local critic and a Lead Critic.