[논문 리뷰] AI-QMIX: Attention and Imagination for Dynamic Multi-Agent Reinforcement Learning

Shariq Iqbal, Christian A. Schroeder de Witt외 4명|arXiv (Cornell University)|2020. 06. 07.

Reinforcement Learning in Robotics참고 문헌 19인용 수 16

한 줄 요약

이 논문은 다이나믹한 환경에서 에이전트와 엔티티 수가 변동하는 상황에서 다중에이전트 강화학습을 향상시키기 위해 어텐션 메커니즘과 상상된 부분 시나리오를 사용하는 AI-QMIX를 제안한다. 공유되는 부분 팀 패턴을 학습하고 상상된 구성에 따라 가치 함수를 분해함으로써, AI-QMIX는 격자형 환경과 스타크래프트 기반 환경에서 다양한 작업 구성에 대해 더 나은 일반화 성능을 달성한다.

ABSTRACT

Real world multi-agent tasks often involve varying types and quantities of agents and non-agent entities. Agents frequently do not know a priori how many other agents and non-agent entities they will need to interact with in order to complete a given task, requiring agents to generalize across a combinatorial number of task configurations with each potentially requiring different strategies. In this work, we tackle the problem of multi-agent reinforcement learning (MARL) in such dynamic scenarios. We hypothesize that, while the optimal behaviors in these scenarios with varying quantities and types of agents/entities are diverse, they may share common patterns within sub-teams of agents that are combined to form team behavior. As such, we propose a method that can learn these sub-group relationships and how they can be combined, ultimately improving knowledge sharing and generalization across scenarios. This method, Attentive-Imaginative QMIX, extends QMIX for dynamic MARL in two ways: 1) an attention mechanism that enables model sharing across variable sized scenarios and 2) a training objective that improves learning across scenarios with varying combinations of agent/entity types by factoring the value function into imagined sub-scenarios. We validate our approach on both a novel grid-world task as well as a version of the StarCraft Multi-Agent Challenge minimally modified for the dynamic scenario setting. The results in these domains validate the effectiveness of the two new components in generalizing across dynamic configurations of agents and entities.

연구 동기 및 목표

• 에이전트와 엔티티의 수와 유형이 예측 불가능하게 변동하는 다이나믹한 환경에서 다중에이전트 강화학습(MARL)의 과제를 해결한다.
• 다른 전략이 필요한 조합적으로 큰 작업 구성에 걸쳐 일반화를 향상시킨다.
• 공통적인 부분 팀 패턴을 식별하고 활용하여 크기가 변동하는 시나리오 간 지식 공유를 가능하게 한다.
• 가상의 부분 시나리오로 가치 함수를 분해하는 훈련 목표를 개발하여 학습 효율성을 향상시킨다.
• 동적 변형된 격자형 환경과 스타크래프트 다중에이전트 챌린지 작업에서 방법을 검증한다.

제안 방법

• 변동하는 크기의 시나리오에서 중심 크리틱이 관련 에이전트와 엔티티에 동적으로 주의를 기울일 수 있도록 어텐션 메커니즘을 도입하여 다양한 구성 간 파라미터 공유를 가능하게 한다.
• 전역 가치 함수를 가상의 에이전트와 엔티티 유형 조합으로 구성된 부분 시나리오로 분해하는 훈련 목표를 설계한다.
• 가상의 부분 시나리오를 활용해 다양한 구성에 걸쳐 가치 함수를 더 견고하게 훈련시켜 일반화 능력을 향상시킨다.
• 주의 기반 가치 분해와 부분 시나리오 분해를 통합하여 단조성과 확장성을 유지하는 QMIX 프레임워크를 확장한다.
• 경험 리플레이와 타겟 네트워크를 사용하여 모델을 엔드 투 엔드로 훈련시키며, 어텐션 모듈이 현재 팀 구성에 따라 정보를 동적으로 라우팅한다.
• 다이나믹한 일반화를 테스트하기 위해 신규 격자형 환경과 수정된 스타크래프트 다중에이전트 챌린지 버전에 방법을 적용한다.

실험 결과

연구 질문

• RQ1 에이전트와 엔티티 수가 동적으로 변할 때 어텐션 메커니즘이 MARL에서 일반화를 향상시키는 데 기여하는가?
• RQ2 가상의 부분 시나리오로 가치 함수를 분해하는 것이 다양한 구성에서 학습 효율성과 성능을 향상시키는가?
• RQ3 부분 팀 패턴을 얼마나 잘 학습하고 재사용하여 다이나믹한 다중에이전트 작업에서 성능을 향상시킬 수 있는가?
• RQ4 조합적으로 변동하는 에이전트와 엔티티 조합이 있는 환경에서 AI-QMIX는 표준 QMIX보다 어떻게 비교되는가?
• RQ5 제안된 방법은 훈련 중에 볼 수 없었던 구성에 대해 일반화 가능한가?

주요 결과

• AI-QMIX는 새로운 격자형 환경과 수정된 스타크래프트 다중에이전트 챌린지에서 표준 QMIX보다 뛰어난 성능을 보이며, 더 나은 샘플 효율성과 최종 성능을 확보한다.
• 어떤 크기의 시나리오에서도 어텐션 메커니즘이 관련 에이전트와 엔티티에 동적으로 집중함으로써 효과적인 가치 함수 근사가 가능하다.
• 가상의 부분 시나리오 훈련 목표는 일반화 능력을 크게 향상시켜, 훈련 중에 볼 수 없었던 구성에서도 잘 작동하도록 한다.
• 이 방법은 부분 팀 패턴을 성공적으로 학습하고 활용하여 다양한 에이전트와 엔티티 유형 조합 간 지식 이행을 가능하게 한다.
• 실험 결과 AI-QMIX는 기준 방법보다 더 넓은 범위의 다이나믹한 구성에서 일반화됨을 보이며, 특히 복잡하고 조합적으로 큰 설정에서 뛰어난 성능을 발휘한다.
• 제거 실험 결과는 어텐션 메커니즘과 가상의 부분 시나리오 목표가 성능 향상에 독립적으로 기여하며 상호 보완적으로 작용한다는 점을 확인한다.