[논문 리뷰] Celebrating Diversity in Shared Multi-Agent Reinforcement Learning

Chenghao Li, Tonghan Wang외 4명|arXiv (Cornell University)|2021. 06. 04.

Reinforcement Learning in Robotics참고 문헌 46인용 수 49

한 줄 요약

이 논문은 정보 이론적 내재 보상과 L1 정규화를 가진 에이전트별 모듈을 활용하여 공유 다에 의한 다중 에이전트 강화학습에서 다양성 및 표현의 다양성을 도입하고, Google Research Football 및 StarCraft II 미크로 관리 작업에서 최첨단 성능을 달성한다.

ABSTRACT

Recently, deep multi-agent reinforcement learning (MARL) has shown the promise to solve complex cooperative tasks. Its success is partly because of parameter sharing among agents. However, such sharing may lead agents to behave similarly and limit their coordination capacity. In this paper, we aim to introduce diversity in both optimization and representation of shared multi-agent reinforcement learning. Specifically, we propose an information-theoretical regularization to maximize the mutual information between agents' identities and their trajectories, encouraging extensive exploration and diverse individualized behaviors. In representation, we incorporate agent-specific modules in the shared neural network architecture, which are regularized by L1-norm to promote learning sharing among agents while keeping necessary diversity. Empirical results show that our method achieves state-of-the-art performance on Google Research Football and super hard StarCraft II micromanagement tasks.

연구 동기 및 목표

• 단순한 파라미터 공유를 넘어 완전 협력 MARL에서 다양하지만 조화로운 행동을 동기부여하고 가능하게 한다.
• 도전적인 과제에서 탐색 및 협력 강화를 위해 다양성과 공유의 균형을 맞춘다.
• 궤적을 통해 에이전트 신원을 구분하는 정보 이론적 목표를 개발하여 개성을 촉진한다.
• L1 정규화하에 공유된 지식과 비공유 구성요소를 결합하는 네트워크 구조를 도입한다.

제안 방법

• 에이전트 정체성과 궤적 간의 상호정보에 기반한 정체성 인식 다양성 목표를 제안하여 탐색과 차별화를 유도한다.
• 지역 Q-값에 대한 볼츠만 소프트맥스를 사용하여 행동 다양성 항을 상한하고 다루기 쉬운 하한을 최적화한다.
• 관찰-다양성 항을 한정하기 위해 변분 사후 q_phi를 도입하고 내재 보상 r^I를 제공한다.
• 각 에이전트의 Q-함수를 공유 부분 Q^S와 개별 부분 Q^I로 분해하고 Q^I에 대한 L1 정규화를 통해 필요한 공유를 촉진한다.
• 환경 보상과 내재 다양성 보상을 결합하는 TD 손실로 학습하기 위해 QPLEX 기반 혼합 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 파라미터 공유의 이점을 희생하지 않으면서 공유 MARL에 다양성을 어떻게 도입할 수 있을까?
• RQ2 정보 이론적 목표가 협력 성능을 유지하면서 에이전트 간 개성을 촉진할 수 있을까?
• RQ3 공유 지식과 개별 특화의 균형을 가장 잘 이룰 수 있는 네트워크 아키텍처와 정규화 전략은 무엇인가?
• RQ4 GRF 및 SMAC와 같은 도전적인 MARL 벤치마크에서 내재 다양성 보상이 성능을 향상시키는가?

주요 결과

• 제안된 방법은 StarCraft II 미크로 관리의 슈퍼 하드 맵과 academy_3_vs_1_with_keeper, academy_counterattack_hard 및 3_vs_1_with_keeper_(full_field) 와 같은 도전적인 Google Research Football 작업에서 최첨단 성능을 달성한다.
• 정체성 인식 다양성과 부분 공유 네트워크 및 L1-정규화된 비공유 Q-함수를 결합하면 baselines에서 보지 못한 정교한 협력 전략이 나온다.
• 정체성과 궤적 간 상호정보, 행동 다양성( Q-값에 대한 SoftMax를 통해), 관찰 다양성(변분 경계)을 기반으로 한 내재 보상이 다양한 행동을 이끈다.
• 다양성과 공유 사이의 동적 균형이 나타나: 에이전트가 다양한 오프-볼 움직임과 팀 내 볼 액션의 협동을 학습하고 어려운 맵에서 협력 향상을 보인다.
• 요소 제거 연구는 성능 저하를 보여주며 정체성 인식 다양성과 L1 정규화의 필요성을 강조한다.