[논문 리뷰] Coach-Player Multi-Agent Reinforcement Learning for Dynamic Team Composition

Бо Лю, Qiang Liu외 4명|arXiv (Cornell University)|2021. 05. 18.

Reinforcement Learning in Robotics참고 문헌 38인용 수 6

한 줄 요약

이 논문은 중심화된 코치가 전역 관측을 통해 주기적으로 주의 메커니즘을 통해 분산된 플레이어에게 전략 벡터를 배포함으로써, 동적 팀 편성에 대해 제로샷 일반화를 가능하게 하는 코치-플레이어 다중에이전트 강화학습 프레임워크인 COPA를 제안한다. 이 방법은 통신 빈도가 최소 13%일지라도 뛰어난 성능을 달성하며, 모든 에이전트가 완전한 관측을 가진 설정보다도 뛰어나게 성능을 냈으며, 이는 이질적이고 동적인 팀에서 적응형·저비용 협업의 효과성을 입증한다.

ABSTRACT

In real-world multi-agent systems, agents with different capabilities may join or leave without altering the team's overarching goals. Coordinating teams with such dynamic composition is challenging: the optimal team strategy varies with the composition. We propose COPA, a coach-player framework to tackle this problem. We assume the coach has a global view of the environment and coordinates the players, who only have partial views, by distributing individual strategies. Specifically, we 1) adopt the attention mechanism for both the coach and the players; 2) propose a variational objective to regularize learning; and 3) design an adaptive communication method to let the coach decide when to communicate with the players. We validate our methods on a resource collection task, a rescue game, and the StarCraft micromanagement tasks. We demonstrate zero-shot generalization to new team compositions. Our method achieves comparable or better performance than the setting where all players have a full view of the environment. Moreover, we see that the performance remains high even when the coach communicates as little as 13% of the time using the adaptive communication strategy.

연구 동기 및 목표

• 팀 규모와 구성원 능력이 변하는 동적 편성의 다중에이전트 팀을 조율하는 과제를 해결하기 위해.
• 재학습 없이도 훈련 중에 볼 수 없었던 새로운 팀 편성에 대해 제로샷 일반화를 가능하게 하기 위해.
• 중앙화된 코치로부터의 적응형 전략 배포를 통해 통신 오버헤드를 줄이면서도 높은 성능을 유지하기 위해.
• 플레이어가 부분 관측만을 가질 때 코치의 역할이 협업을 어떻게 향상시키는지 탐색하기 위해.
• 자원 수집, 구조 게임, 스타크래프트 미크로매니지먼트 작업을 포함한 다양한 환경에서 프레임워크를 검증하기 위해.

제안 방법

• 코치는 환경의 전역 관측을 사용하여 주기적으로 주의 메커니즘을 통해 플레이어에게 전략 벡터를 브로드캐스트한다.
• 플레이어들은 주의 기반 융합 모듈을 통해 최신 전략 벡터를 의사결정에 통합한다.
• 전략 벡터 학습을 정규화하기 위해 변동형 목표를 도입하여 정책 안정성과 일반화 능력을 향상시킨다.
• 코치가 언제 누구와 통신할지를 결정할 수 있도록 적응형 통신 정책을 설계하여 불필요한 전송을 줄인다.
• 중앙집중적 훈련과 분산 실행(CTDE)을 사용하지만, 엄격한 CTDE를 완화하여 코치에서 플레이어로의 제한적이고 전략적인 정보 공유를 允허한다.
• 훈련 중에 팀 편성을 샘플링하여 동적 환경을 시뮬레이션하고, 테스트 시점에 새로운 편성에 대해 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 코치-플레이어 프레임워크는 훈련 중에 볼 수 없었던 새로운 팀 편성에 대해 제로샷 일반화를 달성할 수 있는가?
• RQ2 코치의 적응형 통신이 성능 및 통신 효율성에 어떤 영향을 미치는가?
• RQ3 플레이어가 부분 관측만을 가질 때, 코치가 있는 경우와 모든 플레이어가 완전 관측을 가질 때의 협업 수준을 비교해보면 어떤가?
• RQ4 동적 팀 환경에서 COPA는 완전히 분산된 또는 완전히 관측 가능한 기준 설정보다 어떻게 성능을 내는가?
• RQ5 동적 팀 조율에서 강력한 성능을 내기 위해 필요한 최소 통신 빈도는 얼마인가?

주요 결과

• COPA의 플레이어들은 부분 관측만을 가짐에도 불구하고, 모든 플레이어가 완전한 관측을 가진 설정과 비교해 유사하거나 더 뛰어난 성능을 달성한다.
• 구조 게임 환경에서, 완전한 관측을 가진 에이전트는 부분 관측을 가진 에이전트보다 성능이 열 劣하다. 그러나 코치가 도입되면 성능이 크게 향상된다.
• 적응형 통신을 통해 COPA는 통신 빈도가 최소 13% (일부 설정에서는 0.04)일지라도 강력한 성능을 유지하며, 높은 통신 효율성을 입증한다.
• 3-8sz 및 3-8MMM 스타크래프트 미크로매니지먼트 작업에서, COPA는 통신 빈도가 0.04일 때도 승리율을 10% 이상 유지하며, 주기적 통신 기준 설정보다 뛰어난 성능을 보였다.
• 절단 실험 결과, 변동형 정규화와 적응형 통신 전략이 성능 및 일반화에 핵심적인 역할을 한다는 것이 밝혀졌다.
• 이 방법은 모든 세 가지 벤치마크 환경에서 팀 규모나 에이전트 능력의 변화가 있는 새로운 팀 편성에 대해 제로샷 일반화가 가능하다.