[논문 리뷰] LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning

Mingyu Yang, Jian Zhao외 4명|arXiv (Cornell University)|2022. 05. 05.

Sports Analytics and Performance인용 수 22

한 줄 요약

LDSA는 협력적 MARL에서 하위 작업을 인코딩하고, 학습된 능력으로 에이전트를 할당하며, 각 하위 작업에 대해 디코더가 안내하는 표현 의존 정책을 사용함으로써 동적 하위 작업 할당을 학습하고, SMAC 및 GRF에서 성능을 향상시킨다.

ABSTRACT

Cooperative multi-agent reinforcement learning (MARL) has made prominent progress in recent years. For training efficiency and scalability, most of the MARL algorithms make all agents share the same policy or value network. However, in many complex multi-agent tasks, different agents are expected to possess specific abilities to handle different subtasks. In those scenarios, sharing parameters indiscriminately may lead to similar behavior across all agents, which will limit the exploration efficiency and degrade the final performance. To balance the training complexity and the diversity of agent behavior, we propose a novel framework to learn dynamic subtask assignment (LDSA) in cooperative MARL. Specifically, we first introduce a subtask encoder to construct a vector representation for each subtask according to its identity. To reasonably assign agents to different subtasks, we propose an ability-based subtask selection strategy, which can dynamically group agents with similar abilities into the same subtask. In this way, agents dealing with the same subtask share their learning of specific abilities and different subtasks correspond to different specific abilities. We further introduce two regularizers to increase the representation difference between subtasks and stabilize the training by discouraging agents from frequently changing subtasks, respectively. Empirical results show that LDSA learns reasonable and effective subtask assignment for better collaboration and significantly improves the learning performance on the challenging StarCraft II micromanagement benchmark and Google Research Football.

연구 동기 및 목표

• 협력적 MARL에서 학습 복잡도와 행동 다양성의 균형 필요성을 하위 작업으로 분해하여 동기를 부여한다.
• 많은 도메인 지식 없이 하위 작업을 학습할 수 있는 프레임워크를 개발한다.
• 협업을 향상시키기 위해 에이전트를 동적이고 능력 기반으로 하위 작업에 할당한다.
• 하위 작업 표현과 연계된 하위 작업별 정책을 학습하여 하위 작업 간 공유를 촉진하고 하위 작업 간 다양성을 높인다.

제안 방법

• 정체성에 기반하여 각 하위 작업에 대한 벡터 표현을 생성하는 하위 작업 인코더를 도입한다.
• 에이전트 궤적/액션-관찰 이력 인코더를 사용하여 능력 표현을 얻고, 하위 작업 표현과의 코사인 유사도를 계산하여 softmax 분포를 통한 하위 작업 선택을 수행한다.
• 미분 가능하게 하위 작업 할당을 샘플링하기 위해 Straight-Through Gumbel-Softmax를 적용한다.
• 하위 작업 표현을 정책 파라미터에 매핑하기 위해 하위 작업 디코더를 사용하고, 하위 작업 정체성을 개별 정책에 연결한다.
• 두 가지 정규화를 포함한다: (i) 의미 있는 분해를 촉진하기 위해 하위 작업 표현 간 쌍별 다양성을 최대화하고, (ii) 훈련 안정화를 위해 인접 타임스텝 간 하위 작업 선택 분포의 KL 발산을 최소화한다.
• QMIX 스타일의 믹싱 네트워크로 글로벌 Q 값을 얻으면서 분산 실행을 가능하게 한다.

실험 결과

연구 질문

• RQ1 도전적인 협력 MARL 벤치마크에서 LDSA가 baselines를 능가할 수 있는가?
• RQ2 제안된 정규화가 분해 품질과 학습 안정성을 향상시키는가?
• RQ3 LDSA의 어떤 구성 요소가 성능 개선에 가장 크게 기여하는가?
• RQ4 LDSA가 학습 중 해석 가능하고 합리적인 동적 하위 작업 할당을 제공하는가?

주요 결과

• LDSA는 14개 SMAC 시나리오에서 학습 성능을 크게 향상시키며 baselines를 능가하고 평균적으로 중앙값 테스트 승률에서 약 7%의 이득을 달성한다.
• 하위 작업 분리와 하위 작업 전환의 안정화를 강제하는 정규화가 성능에 기여하며, 이를 제거하면 결과가 저하되고 표현 다양성 정규화가 더 큰 영향을 미친다.
• 애블레이션은 능력 기반 하위 작업 선택이 성능에 가장 크게 기여한다는 것을 보여주며, 하위 작업 디코더나 단순히 파라미터 수를 늘리는 것보다 더 큰 기여를 한다.
• 시각화는 유사한 능력을 가진 에이전트들이 특정 하위 작업을 해결하기 위해 군집하고 학습을 효과적으로 공유하는 동적이고 합리적인 하위 작업 할당을 보여준다.