[논문 리뷰] Revisiting the Master-Slave Architecture in Multi-Agent Deep Reinforcement Learning

Xiangyu Kong, Bo Xin외 2명|arXiv (Cornell University)|2017. 12. 20.

Reinforcement Learning in Robotics참고 문헌 22인용 수 45

한 줄 요약

이 논문은 가중치 게이팅 조합, 학습 가능한 통신, 독립적 추론을 통해 글로벌 마스터 에이전트와 로컬 슬레이브 에이전트를 결합함으로써 중심집중적 계획과 분산실행을 통합하는 마스터-슬레이브 계층적 딥강화학습 프레임워크인 MS-MARL을 제안한다. 이 방법은 합성 및 스타크래프트 미크로매니지먼트 과제에서 최신의 MARL 접근법보다 뛰어난 성능을 달성하며, 더 빠르고 안정적인 학습과 펌프터 무브와 같은 탄생된 협동 행동을 보여준다.

ABSTRACT

Many tasks in artificial intelligence require the collaboration of multiple agents. We exam deep reinforcement learning for multi-agent domains. Recent research efforts often take the form of two seemingly conflicting perspectives, the decentralized perspective, where each agent is supposed to have its own controller; and the centralized perspective, where one assumes there is a larger model controlling all agents. In this regard, we revisit the idea of the master-slave architecture by incorporating both perspectives within one framework. Such a hierarchical structure naturally leverages advantages from one another. The idea of combining both perspectives is intuitive and can be well motivated from many real world systems, however, out of a variety of possible realizations, we highlights three key ingredients, i.e. composed action representation, learnable communication and independent reasoning. With network designs to facilitate these explicitly, our proposal consistently outperforms latest competing methods both in synthetic experiments and when applied to challenging StarCraft micromanagement tasks.

연구 동기 및 목표

• 큰 기하학적 복잡도를 가진 상태-행동 공간을 가진 다중에이전트 환경으로 딥강화학습을 확장하는 데 도전하는 것.
• 분산형(독립적 에이전트)과 중심집중형(전체 제어) MARL의 상충되는 관점 간의 조화를 위해 계층적 프레임워크 안에서 이들을 통합하는 것.
• 에이전트 간 효과적인 통신과 협동적 의사결정을 가능하게 하는 확장성 있고 학습 가능한 아키텍처를 설계하는 것.
• 특히 스타크래프트 미크로매니지먼트 시나리오에서 도전적인 다중에이전트 과제에 대해 프레임워크를 경험적으로 검증하는 것.

제안 방법

• 프레임워크는 마스터-슬레이브 계층을 활용한다: 글로벌 상태 인식 능력을 지닌 중심 마스터 에이전트와 로컬 관측을 가지는 다수의 슬레이브 에이전트로 구성된다.
• 각 에이전트는 순환신경망(RNN)을 사용하여 내부 표현을 유지하고 시간에 따라 개인적 '사고'를 모델링한다.
• 가중치 게이팅 조합 모듈(GCM)은 마스터의 글로벌 정책과 각 슬레이브의 로컬 정책을 융합하여 최종 행동을 생성한다.
• 학습 가능한 통신을 통해 마스터는 슬레이브에게 구조화된 메시지를 전송하여 단순한 신호 브로드캐스트를 초월한 협동을 향상시킨다.
• 마스터는 글로벌 상태와 모든 슬레이브로부터의 메시지를 수신하며, 각 슬레이브는 자신의 로컬 상태와 마스터의 메시지를 입력으로 사용한다.
• 정책은 정책 기반 강화학습 방법을 통해 학습되며, 전체 계층적 네트워크의 엔드 투 엔드 최적화가 이루어진다.

실험 결과

연구 질문

• RQ1 통합된 마스터-슬레이브 아키텍처가 딥MARL에서 중심집중적 계획과 분산실행의 이점을 효과적으로 융합할 수 있는가?
• RQ2 명시적 통신과 가중치 게이팅 행동 조합은 CommNet과 같은 기준 방법에 비해 다중에이전트 협동을 어떻게 향상시키는가?
• RQ3 스타크래프트 미크로매니지먼트와 같은 복잡한 과제에서 계층적 설계로부터 탄생하는 협동 행동은 무엇인가?
• RQ4 전용 마스터 상태(예: 점유도 지도)의 포함 여부가 학습 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• MS-MARL은 합성 과제와 스타크래프트 과제에서 CommNet 및 기타 경쟁 방법에 비해 유의미하게 더 빠르고 안정적인 학습 수렴을 달성한다.
• 여러 스타크래프트 미크로매니지먼트 과제에서 승리율과 샘플 효율성 측면에서 최신의 MARL 기준선을 일관되게 능가한다.
• 마스터 에이전트는 적 지역 향한 팀의 방향 전환과 같은 고수준 전략 명령을 내리는 것을 학습하며, 슬레이브 에이전트는 로컬 위치 조정과 협동을 담당한다.
• 프레임워크는 15M 대 16M 과제에서 '펌프터 무브'와 같은 복잡한 협동 행동의 탄생을 가능하게 하였으며, 이는 CommNet이 자주 학습에 실패하는 영역이다.
• 절단 실험 결과, 명시적 마스터 상태와 학습 가능한 통신이 성능 향상에 핵심적임을 확인하였으며, 마스터 전용 버전조차도 CommNet을 능가한다.
• 시각화 결과, 가중치 게이팅 조합 메커니즘이 글로벌 전략과 로컬 적응을 효과적으로 균형 잡아 일관된 팀 행동을 이끌어내는 데 기여함을 보여준다.