[논문 리뷰] QGNN: Value Function Factorisation with Graph Neural Networks

Ryan Kortvelesy, Amanda Prorok|arXiv (Cornell University)|2022. 05. 25.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

QGNN는 다중 에이전트 강화학습을 위한 그래프 신경망 기반의 값 분해 방법을 제안하며, 더 나은 책임 할당을 위해 다단계 메시지 전파를 활용한다. 에이전트를 그래프로 모델링하고 순열 불변 믹서를 사용함으로써, 스타크래프트, 추정 게임, 협력 구조 생성에서 최신 기준(SOTA) 성능을 달성하며, 파라미터 수가 적은 기존 베이스라인(QMIX-Att, GraphMIX)을 능가한다.

ABSTRACT

In multi-agent reinforcement learning, the use of a global objective is a powerful tool for incentivising cooperation. Unfortunately, it is not sample-efficient to train individual agents with a global reward, because it does not necessarily correlate with an agent's individual actions. This problem can be solved by factorising the global value function into local value functions. Early work in this domain performed factorisation by conditioning local value functions purely on local information. Recently, it has been shown that providing both local information and an encoding of the global state can promote cooperative behaviour. In this paper we propose QGNN, the first value factorisation method to use a graph neural network (GNN) based model. The multi-layer message passing architecture of QGNN provides more representational complexity than models in prior work, allowing it to produce a more effective factorisation. QGNN also introduces a permutation invariant mixer which is able to match the performance of other methods, even with significantly fewer parameters. We evaluate our method against several baselines, including QMIX-Att, GraphMIX, QMIX, VDN, and hybrid architectures. Our experiments include Starcraft, the standard benchmark for credit assignment; Estimate Game, a custom environment that explicitly models inter-agent dependencies; and Coalition Structure Generation, a foundational problem with real-world applications. The results show that QGNN outperforms state-of-the-art value factorisation baselines consistently.

연구 동기 및 목표

• 전역 보상과 개별 행동 간 상관관계가 없는 협동 다중 에이전트 강화학습에서의 책임 할당 문제를 해결하기 위해.
• 그래프 구조 모델을 통해 전역 상태 정보와 에이전트 간 상호의존성을 통합함으로써 가치 함수 분해를 향상시키기 위해.
• 순열 불변 믹서를 통해 성능을 유지하거나 향상시키면서도 파라미터 수를 줄이기 위해.
• 특히 GNN 아키텍처 내에서 의사소통 기반 모델의 표현 능력의 중요성을 입증하기 위해.
• 학습된 국소 가치와 알려진 진짜 값 간의 비교를 통해 암묵적 책임 할당을 평가하는 새로운 지표를 제공하기 위해.

제안 방법

• QGNN는 에이전트를 그래프의 노드로 모델링하고, 간선을 통신 링크로 간주하여 더 풍부한 표현 학습을 위한 다단계 메시지 전파를 가능하게 한다.
• 다층 메시지 전파를 갖춘 그래프 신경망(GNN)을 사용하여 국소 관측치와 전역 맥락에 조건화된 국소 가치 함수를 학습한다.
• 순열 불변 믹서는 GNN 처리된 표현을 조합하여 개별 Q-값을 생성하며, 에이전트 순서에 대한 불변성을 보장한다.
• 그래프 연결성 조정을 통해 점진적 통신을 지원하며, 통신 범위와 같은 실제 제약 조건을 모델링할 수 있다.
• GNN 메시지 전파를 통해 샤플리 값 유사 책임 할당을 암묵적으로 학습하며, 알려진 진짜 국소 값이 있는 맞춤형 환경을 통해 검증된다.
• 제거 분석을 통해 그래프 연결성(통신 범위)과 구성 요소 기여도의 영향을 평가하며, 표현 복잡도가 핵심 요소로 규명된다.

실험 결과

연구 질문

• RQ1 다단계 메시지 전파를 갖춘 GNN 기반 아키텍처는 이전 방법에 비해 가치 함수 분해를 향상시킬 수 있는가?
• RQ2 순열 불변 믹서는 협동 다중 에이전트 RL에서 더 적은 파라미터로 높은 성능을 달성할 수 있는가?
• RQ3 GNN 구성 요소의 표현 복잡도와 믹서 구성 요소의 표현 복잡도 중 어느 것이 책임 할당 성능에 더 큰 영향을 미치는가?
• RQ4 새로운 평가 지표로 측정했을 때, GNN은 책임 할당 설정에서 진짜 국소 값을 어느 정도 암묵적으로 학습할 수 있는가?
• RQ5 그래프 연결성(예: 통신 범위)은 가치 분해 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• QGNN는 모든 평가 환경에서 최신 기준 베이스라인(QMIX-Att, GraphMIX, QMIX, VDN, 하이브리드 모델)을 모두 능가한다.
• 스타크래프트 다중 에이전트 챌린지에서 QGNN는 모든 베이스라인보다 높은 평균 수익을 달성하며, 복잡한 협동 작업에서 뛰어난 책임 할당 능력을 입증한다.
• 맞춤형 추정 게임 환경에서 QGNN는 에이전트 간 상호의존성을 성공적으로 학습하며, 명시적 어텐션 또는 복잡한 아키텍처에 의존하는 방법과 동등하거나 이를 초월하는 성능을 보였다.
• 협력 구조 생성 환경에서 QGNN는 유사 최적 또는 최적의 해를 더 적은 파라미터로 달성하였다.
• 제거 분석 결과, GNN 내 표현 복잡도가 믹서 내 표현 복잡도보다 더 중요하며, GNN의 깊이와 메시지 전파 횟수의 영향이 성능에 더 크게 기여하는 것으로 확인되었다.
• 알려진 진짜 국소 값 기반의 새로운 지표는 QGNN의 암묵적 책임 할당이 샤플리 값에 매우 가까이 근접함을 보여주며, 협동 게임 이론과의 이론적 일치를 검증한다.