[논문 리뷰] Effective and Stable Role-Based Multi-Agent Collaboration by Structural Information Principles

Xianghua Zeng, Hao Peng외 1명|arXiv (Cornell University)|2023. 04. 03.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 일차원 및 K차원 구조적 엔트로피 최소화를 통한 계층적 행동공간 클러스터링으로 역할 탐지 문제를 변환하는, 구조적 정보 원칙 기반의 역할 탐지 방법 SIRD를 제안한다. SR-MARL에 통합된 SIRD는 수동적 하이퍼파rameter 튜닝 없이도 도전적인 스타크래프트 II 미크로매니지먼트 과제에서 최고 성능을 기록하며, 최대 6.08% 높은 승리율과 66.30% 낮은 분산을 달성하여 안정적이고 효과적이며 알고리즘 독립적인 다중 에이전트 협업을 가능하게 한다.

ABSTRACT

Role-based learning is a promising approach to improving the performance of Multi-Agent Reinforcement Learning (MARL). Nevertheless, without manual assistance, current role-based methods cannot guarantee stably discovering a set of roles to effectively decompose a complex task, as they assume either a predefined role structure or practical experience for selecting hyperparameters. In this article, we propose a mathematical Structural Information principles-based Role Discovery method, namely SIRD, and then present a SIRD optimizing MARL framework, namely SR-MARL, for multi-agent collaboration. The SIRD transforms role discovery into a hierarchical action space clustering. Specifically, the SIRD consists of structuralization, sparsification, and optimization modules, where an optimal encoding tree is generated to perform abstracting to discover roles. The SIRD is agnostic to specific MARL algorithms and flexibly integrated with various value function factorization approaches. Empirical evaluations on the StarCraft II micromanagement benchmark demonstrate that, compared with state-of-the-art MARL algorithms, the SR-MARL framework improves the average test win rate by 0.17%, 6.08%, and 3.24%, and reduces the deviation by 16.67%, 30.80%, and 66.30%, under easy, hard, and super hard scenarios.

연구 동기 및 목표

• 수동적 하이퍼파rameter 튜닝이나 사전 정의된 역할에 의존하는 기존 역할 기반 다중 에이전트 강화학습(MARL) 방법의 불안정성과 비효율성을 해결하기 위해.
• 사전 작업 또는 역할 할당에 대한 지식이 필요 없는 자기지도적이고 자동적인 역할 탐지 메커니즘을 개발하기 위해.
• 큰 연합 상태-행동 공간을 가진 협동적이고 부분관측 가능한 환경에서 MARL의 효과성과 안정성을 향상시키기 위해.
• 기본 MARL 알고리즘을 수정하지 않고도 다양한 가치 함수 분해 방법과 원활하게 통합될 수 있도록 하기 위해.

제안 방법

• SIRD 방법은 정점이 행동을 나타내며, 간선 가중치가 팀 목표 향한 기능적 상관관계를 반영하는 가중치가 부여된 무방향 완전 행동 그래프를 구축한다.
• 일차원 구조적 엔트로피 최소화를 적용하여 행동 그래프를 희소화하고, 계층적 행동 관계를 포괄하는 초기 인코딩 트리를 생성한다.
• 희소 그래프에서 K차원 구조적 엔트로피 최소화를 추가로 적용하여 최적의 인코딩 트리를 도출하고, 계층적 행동공간 클러스터링을 위한 기반을 마련한다.
• 최적의 인코딩 트리에 대한 계층적 추상화를 수행함으로써 평탄한 클러스터링을 구조적 역할 분해로 전환함으로써 역할을 탐지한다.
• SR-MARL 프레임워크는 SIRD를 QMIX 및 QPLEX와 같은 가치 함수 분해 방법과 통합하며, 혼합 네트워크를 SIRD 가이드 역할 추상화로 대체한다.
• 프레임워크는 특정 MARL 알고리즘에 독립적이며, 다른 가치 분해 아키텍처로도 쉽게 확장 가능하다.

실험 결과

연구 질문

• RQ1 수동적 하이퍼파rameter 튜닝 없이도 구조적 정보 원칙을 활용하여 자동적이고 안정적이며 효과적인 역할 탐지를 가능하게 할 수 있는가?
• RQ2 인코딩 트리를 통한 계층적 행동공간 클러스터링이 평탄한 클러스터링에 비해 역할 탐지 품질과 학습 안정성 측면에서 어떻게 비교되는가?
• RQ3 SIRD는 다양한 과제 난이도 수준에서 기존 MARL 알고리즘의 성능과 내구성을 어느 정도 향상시킬 수 있는가?
• RQ4 가치 함수 분해 방법과의 SIRD 통합이 승리율과 학습 안정성 측면에서 일관된 향상을 이끌어내는가?

주요 결과

• 스타크래프트 II 미크로매니지먼트 벤치마크에서 SR-MARL은 쉬운, 어려운, 초어려운 지도에서 각각 최고 성능 기준선 대비 평균 테스트 승리율을 0.17%, 6.08%, 3.24% 향상시켰다.
• SR-MARL은 쉬운, 어려운, 초어려운 지도에서 테스트 승리율의 분산을 각각 16.67%, 30.80%, 66.30% 감소시켜 훈련 안정성이 크게 향상되었음을 시사한다.
• 제거 실험 결과 구조화와 희소화가 모두 필수적임을 확인: 구조화를 제거한 ST-MARL 또는 희소화를 제거한 SP-MARL은 성능이 심각하게 저하된다.
• 최대 트리 높이가 3인 SR-MARL-3는 초어려운 지도 MMM2에서 높이 2인 SR-MARL-2보다 성능이 뛰어나, 더 깊은 계층이 복잡한 과제에 유리함을 시사한다.
• QMIX 및 QPLEX와의 통합에서도 일관된 성능 향상이 관찰되어, SIRD가 다양한 가치 함수 분해 방법과의 호환성과 효과성을 입증한다.
• SIRD 방법은 MARL 알고리즘에 완전히 독립적이며, 아키텍처 변경 없이 다양한 가치 분해 아키텍처에 쉽게 통합 가능하다.