[논문 리뷰] GCS: Graph-based Coordination Strategy for Multi-Agent Reinforcement Learning

Jingqing Ruan, Yali Du외 7명|arXiv (Cornell University)|2022. 01. 17.

Evacuation and Crowd Dynamics인용 수 25

한 줄 요약

GCS는 공동 MARL 정책을 그래프 생성기로 분해하여 DAG 기반 액션 조정과 그래프 기반 조정 정책을 생성, 에이전트 간 구조화된 협력 및 MARL 벤치마크 전반의 성능 향상을 가능하게 한다.

ABSTRACT

Many real-world scenarios involve a team of agents that have to coordinate their policies to achieve a shared goal. Previous studies mainly focus on decentralized control to maximize a common reward and barely consider the coordination among control policies, which is critical in dynamic and complicated environments. In this work, we propose factorizing the joint team policy into a graph generator and graph-based coordinated policy to enable coordinated behaviours among agents. The graph generator adopts an encoder-decoder framework that outputs directed acyclic graphs (DAGs) to capture the underlying dynamic decision structure. We also apply the DAGness-constrained and DAG depth-constrained optimization in the graph generator to balance efficiency and performance. The graph-based coordinated policy exploits the generated decision structure. The graph generator and coordinated policy are trained simultaneously to maximize the discounted return. Empirical evaluations on Collaborative Gaussian Squeeze, Cooperative Navigation, and Google Research Football demonstrate the superiority of the proposed method.

연구 동기 및 목표

• 다중 에이전트 시스템에서 완전하게 분산된 제어를 넘어선 coordinated 정책의 필요성을 자극한다.
• 공동 정책을 그래프 생성기와 그래프 기반 조정 정책으로 factorize하는 프레임워크를 제안한다.
• 에이전트 간의 액션 의존성을 나타내기 위해 방향성 비순환 그래프(DAG)를 학습한다.
• 그래프 생성기에서 DAG의 특성(효율성과 성능 사이의 균형)을 DAG-성(g(A)=trace(exp(A∘A))−d=0)과 DAG 깊이 제약으로 제어한다.
• 감가된 보상을 최대화하기 위해 그래프 생성기와 조정 정책을 공동으로 학습한다.

제안 방법

• 액션 조정 그래프(ACG)를 DAG로 표현하고 노드는 에이전트이며 간선은 액션 의존성을 나타낸다.
• 공동 정책을 pi(u|s,A)=rho(A|s) * prod_i pi^i(u^i|o^i,u^{pa(i)~A})로 factorize하는데 A는 DAG 기반 그래프 생성기 rho에 의해 생성된다.
• acyclicity를 강제하기 위한 DAGness 제약 g(A)=trace(exp(A∘A))−d=0와 계층 구조를 경계하기 위한 nilpotent 행렬을 통한 DAG 깊이 제약을 사용한다.
• 그래프 생성기 rho와 그래프 기반 조정 정책 pi^i를 동시에 최적화하여 기대 할인 보상 eta를 최대화한다.
• 정책 및 그래프 생성기에 대한 그래디언트를 도출하고 DAG 제약을 적용하기 위해 augmented Lagrangian 패널티를 적용한다(식 4–11).
• 그래프 생성을 위한 GAT 기반 인코더와 그래프 디코딩용 MLP, 조정 정책을 위한 RNN 기반 액터-크리틱으로 구현을 설명한다.

실험 결과

연구 질문

• RQ1 ACG와 같은 그래프 기반 조정 구조가 MARL에서 에이전트 간의 기본 의사 결정 의존성을 포착할 수 있는가?
• RQ2 DAG 생성 그래프와 그래프 기반 조정 정책을 함께 학습하는 것이 MARL 벤치마크 전반에서 협력과 보상을 향상시키는가?
• RQ3 DAG성 및 DAG 깊이 제약이 학습 효율성과 성능에 어떤 영향을 미치는가?
• RQ4 CGS, CN, Google Football와 같은 다양한 환경에서 DAG 기반 조정이 강건하고 확장 가능하게 작동하는가?

주요 결과

• GCS는 Collaborative Gaussian Squeeze, Cooperative Navigation, Google Football에서 기준 모델(VDN, QMIX, DCG, DGN)보다 우수한 성능을 보인다.
• 학습된 ACG는 에이전트 간 의미 있는 액션 의존성과 계층적 의사 결정 순서를 드러내 협력을 향상시킨다.
• DAG 깊이를 증가시키면 어느 정도까지 성능이 향상되지만 학습 시간이 증가하고 결국 성능이 하락할 수 있으며, 최적의 깊이(k)는 효율성과 이득 사이의 균형을 맞춘다.
• Explicit한 액션 의존성을 무시하는 벤치마크에 비해 이 방법은 협력 과제에서 더 빠른 수렴과 더 낮은 분산을 보인다.
• GRF 실험에서 GCS는 3v2, 3v6, 5v5 시나리오에서 더 높은 보상을 달성하며 다이나믹과 확률적 특성에 대해 강건함을 보여준다.