[논문 리뷰] Qatten: A General Framework for Cooperative Multiagent Reinforcement Learning

Yaodong Yang, Jianye Hao외 5명|arXiv (Cornell University)|2020. 02. 10.

Reinforcement Learning in Robotics참고 문헌 10인용 수 108

한 줄 요약

Qatten은 글로벌 다중에이전트 Q값을 에이전트별 Q값으로 분해하고 다중헤드 어텐션 믹서를 사용하는 일반 프레임워크를 도입하여 분산 추론 가능한 정책 최적화와 협력적 MARL에서의 성능 향상을 가능하게 하며, StarCraft II SMAC 벤치마크에서 입증된다.

ABSTRACT

In many real-world tasks, multiple agents must learn to coordinate with each other given their private observations and limited communication ability. Deep multiagent reinforcement learning (Deep-MARL) algorithms have shown superior performance in such challenging settings. One representative class of work is multiagent value decomposition, which decomposes the global shared multiagent Q-value $Q_{tot}$ into individual Q-values $Q^{i}$ to guide individuals' behaviors, i.e. VDN imposing an additive formation and QMIX adopting a monotonic assumption using an implicit mixing method. However, most of the previous efforts impose certain assumptions between $Q_{tot}$ and $Q^{i}$ and lack theoretical groundings. Besides, they do not explicitly consider the agent-level impact of individuals to the whole system when transforming individual $Q^{i}$s into $Q_{tot}$. In this paper, we theoretically derive a general formula of $Q_{tot}$ in terms of $Q^{i}$, based on which we can naturally implement a multi-head attention formation to approximate $Q_{tot}$, resulting in not only a refined representation of $Q_{tot}$ with an agent-level attention mechanism, but also a tractable maximization algorithm of decentralized policies. Extensive experiments demonstrate that our method outperforms state-of-the-art MARL methods on the widely adopted StarCraft benchmark across different scenarios, and attention analysis is further conducted with valuable insights.

연구 동기 및 목표

• 부분 관찰 및 제한된 의사소통 하에서 다중 에이전트를 조정하는 도전 과제를 제시한다.
• 전역 Q값 Q_tot를 개별 Q값 Q^i의 관점에서 이론적으로 분해한다.
• Q_tot를 근사하기 위한 실용적인 다중헤드 어텐션 기반 혼합 네트워크(Qatten)를 제안한다.
• CTDE 하에서 분산 정책이 중앙화된 가치 함수의 최대화를 달성하도록 보장한다.
• StarCraft II SMAC 벤치마크에서 우수한 성능을 입증하고 어텐션 가중치를 분석한다.

제안 방법

• 분해 공식을 도출한다: Q_tot(s, a) ≈ c(s) + sum_h sum_i λ_{i,h}(s) Q^i(s, a^i).
• Q^i를 Q_tot로 결합하는 계수 λ_{i,h}(s)를 근사하기 위해 다중헤드 어텐션이 있는 미분 가능한 키-값 메모리를 사용한다.
• 전역 상태 s와 에이전트 특성 u^i에 조건화된 어텐션 기반 혼합 네트워크를 도입하여 에이전트 수준의 혼합 가중치를 생성한다.
• 단조성 한계를 완화하고 표현 용량을 향상시키기 위해 가중된 헤드 Q값을 도입할 수 있다.
• 오프폴리시 학습에서 해석 가능한 최대화를 위해 IGM(개별-글로벌-맥스) 특성을 보존하도록 단조성을 유지한다.

실험 결과

연구 질문

• RQ1 에이전트별 Q^i에서 Q_tot를 원리적 방식으로 분해하여 분산 실행을 가진 중앙집중식 학습을 효과적으로 가능하게 할 수 있는가?
• RQ2 다중헤드 어텐션이 협력적 MARL에서 전역 Q값에 대한 에이전트 수준의 영향을 효과적으로 모델링할 수 있는가?
• RQ3 제안된 Qatten 프레임워크가 도전적인 StarCraft II SMAC 벤치마크에서 기존 MARL 방법들을 능가하는가?
• RQ4 주의 가중치 λ_{i,h}가 작업 중 에이전트의 역할과 중요성을 어떻게 반영하며, 이를 해석하여 통찰을 얻을 수 있는가?

주요 결과

• Qatten은 다양한 시나리오에서 StarCraft SMAC 벤치마크에서 최첨단 MARL 방법을 능가하는 경우가 많으며 강력한 성능을 달성한다.
• 주목 기반 혼합 네트워크는 다중 헤드를 통해 다중 차수에서 에이전트 수준의 영향을 포함시켜 Q_tot 표현을 정교화한다.
• 이 접근법은 Q_tot와 Q^i 사이의 단조성을 유지하여 분산 실행 하에서 결합 행동 가치의 최대화를 용이하게 한다.
• 소거 연구에서 가중 헤드 Q값이 어려운 시나리오에서 성능을 향상시키며 비선형성 증가의 이점을 시사한다.
• 주목 분석은 서로 다른 헤드가 전투 중 에이전트의 역할과 체력에 따라 가중치를 할당하는 방식을 보여준다.