[논문 리뷰] Graph Convolutional Value Decomposition in Multi-Agent Reinforcement Learning

Navid Naderializadeh, Fan Hung외 2명|arXiv (Cornell University)|2020. 10. 09.

Reinforcement Learning in Robotics참고 문헌 34인용 수 10

한 줄 요약

이 논문은 다중 에이전트 강화 학습을 위한 그래프 신경망 기반의 가치 함수 분해 방법인 GraphMIX을 제안한다. 이는 관찰-행동 역사 기반의 어텐션 기반 동적 그래프를 통해 에이전트 간 상호작용을 모델링하며, 명시적 크레딧 할당을 가능하게 하고 SMAC 벤치마크에서 QMIX 및 Weighted QMIX보다 뛰어난 성능을 보이며, 이질적인 테스트 시나리오에 대한 미세조정에 대해 확장 가능한 성능을 제공한다.

ABSTRACT

We propose a novel framework for value function factorization in multi-agent deep reinforcement learning (MARL) using graph neural networks (GNNs). In particular, we consider the team of agents as the set of nodes of a complete directed graph, whose edge weights are governed by an attention mechanism. Building upon this underlying graph, we introduce a mixing GNN module, which is responsible for i) factorizing the team state-action value function into individual per-agent observation-action value functions, and ii) explicit credit assignment to each agent in terms of fractions of the global team reward. Our approach, which we call GraphMIX, follows the centralized training and decentralized execution paradigm, enabling the agents to make their decisions independently once training is completed. We show the superiority of GraphMIX as compared to the state-of-the-art on several scenarios in the StarCraft II multi-agent challenge (SMAC) benchmark. We further demonstrate how GraphMIX can be used in conjunction with a recent hierarchical MARL architecture to both improve the agents' performance and enable fine-tuning them on mismatched test scenarios with higher numbers of agents and/or actions.

연구 동기 및 목표

• 기존의 가치 분해 방법이 에이전트 상호작용 구조를 명시적으로 모델링하지 못하는 한계를 해결한다.
• 기반 그래프 임베딩을 사용하여 전역 보상의 분해를 통해 개별 에이전트에 대한 명시적 크레딧 할당을 가능하게 한다.
• 에이전트 수에 관계없이 동일한 성능을 유지하는 크기 불변의 믹싱 모듈을 개발하여 탈중앙화 실행 및 다양한 수의 에이전트가 있는 시나리오에서의 미세조정을 지원한다.
• StarCraft II 다중 에이전트 챌린지(SMAC)와 같은 복잡하고 이질적인 환경에서 일반화 능력과 성능을 향상시킨다.

제안 방법

• 모든 에이전트를 포함한 완전한 방향성 그래프로 팀을 모델링하며, 각 에이전트를 노드로, 간선 가중치는 관찰-행동 역사 기반의 어텐션 메커니즘을 통해 동적으로 학습한다.
• 전역 상태-행동 가치 함수를 개별 에이전트 가치 함수로 분해하는 믹싱 GNN 모듈을 도입하며, 정책 일致성을 유지하기 위해 단조성 조건을 강제한다.
• GNN의 최종 노드 임베딩에서 개별 에이전트의 보상 분할을 유도하며, 이는 국소 손실 함수와 함께 전역 손실을 최소화하는 데 사용된다.
• 믹싱 GNN, 어텐션 메커니즘, 에이전트 파라미터를 중심화된 방식으로 엔드 투 엔드로 훈련하여, 훈련 후 탈중앙화 추론을 가능하게 한다.
• GNN 내부에서 그래프 이소모르피즘 네트워크(GIN)와 그래프 컬러레이션 네트워크(GCN) 아키텍처를 활용하여 다양한 GNN 유형에서의 성능을 평가한다.
• GraphMIX를 계층적 RODE 프레임워크와 결합하여, 훈련 시나리오와 다른 수의 에이전트와 행동을 가진 테스트 시나리오에서의 빠른 미세조정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 간선 가중치를 가진 그래프 신경망이 기존 방법에 비해 다중 에이전트 강화 학습에서 가치 함수 분해를 향상시키는가?
• RQ2 GNN에서 유도된 보상 분할을 통한 명시적 크레딧 할당이 MARL에서 학습 효율성과 성능을 향상시키는가?
• RQ3 제안된 GraphMIX 프레임워크는 훈련 시나리오와 다른 수의 에이전트를 가진 테스트 시나리오에 배포되었을 때도 성능를 유지하고 미세조정이 가능한가?
• RQ4 GNN 아키텍처 선택(GIN 대비 GCN 등)이 가치 분해 모듈의 성능와 내구성에 어떤 영향을 미치는가?

주요 결과

• GraphMIX는 SMAC 벤치마크의 여러 하드 및 슈퍼 하드 시나리오에서 QMIX 및 Weighted QMIX를 모두 압도하며, 더 뛰어난 샘플 효율성과 최종 승리율을 보였다.
• GIN 기반 GraphMIX 아키텍처는 대부분의 SMAC 지도에서 GCN 기반 버전과 비슷하거나 더 뛰어난 성능을 기록하여, GIN이 에이전트 동역학을 효과적으로 포착함을 시사한다.
• GraphMIX는 QMIX 기반 방법이 입력 크기 제약으로 실패하는 상황—특히 8~12명의 연합 에이전트와 30명의 적군이 있는 경우—에서도 성공적인 미세조정을 가능하게 했다.
• 단지 100만 번의 스텝만으로도 더 큰 복도 지도에서 승리율이 크게 향상되어, GNN 기반 믹싱 모듈의 크기 불변성과 확장 가능성을 확인했다.
• GraphMIX를 RODE 계층 프레임워크와 통합함으로써 복잡하고 고차원적인 시나리오에서 빠른 전이 및 미세조정이 가능했으며, 독립적인 RODE나 GraphMIX보다 뛰어난 성능을 보였다.
• 어텐션 메커니즘이 이질적인 에이전트 간 상호작용을 효과적으로 모델링하며, 특히 MMM2와 같은 복잡한 지도에서 에이전트 유형의 다양성이 증가함에 따라 동적 관계 모델링의 필요성이 높아지는 경우에 유용하다.