[논문 리뷰] Revisiting the Monotonicity Constraint in Cooperative Multi-Agent Reinforcement Learning

Jian Hu, Siyang Jiang외 3명|arXiv (Cornell University)|2021. 09. 29.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 협동적 다중 에이전트 강화학습 알고리즘인 QMIX에서의 단조성 제약을 재고하며, 그 영향을 분석하기 위한 새로운 모델인 RMC를 제안한다. 철저한 초파rameter 튜닝과 이론적 분석을 통해, 단조성을 유지한 QMIX가 그 변종보다도 뛰어난 성능을 보이며, 협동적 MARL 과제에서 단조성 제약를 완화하는 것이 항상 성능 향상에 기여한다는 가정을 도전한다.

ABSTRACT

Many complex multi-agent systems such as robot swarms control and autonomous vehicle coordination can be modeled as Multi-Agent Reinforcement Learning (MARL) tasks. QMIX, a popular MARL algorithm base on the monotonicity constraint, has been used as a baseline for the benchmark environments, e.g., Starcraft Multi-Agent Challenge (SMAC), Predator-Prey (PP). Recent variants of QMIX target relaxing the monotonicity constraint of QMIX to improve the expressive power of QMIX, allowing for performance improvement in SMAC. However, we find that such performance improvements of the variants are significantly affected by various implementation tricks. In this paper, we revisit the monotonicity constraint of QMIX, (1) we design a novel model RMC to further investigate the monotonicity constraint; the results show that monotonicity constraint can improve sample efficiency in some purely cooperative tasks. (2) we then re-evaluate the performance of QMIX and these variants by a grid hyperparameter search for the tricks; the results show QMIX achieves the best performance among them; (3) we analyze the monotonic mixing network from a theoretical perspective and show that it can represent any tasks which can be interpreted as purely cooperative. These analyses demonstrate that relaxing the monotonicity constraint of the mixing network will not always improve the performance of QMIX, which breaks our previous impressions of the monotonicity constraints. We open-source the code at \url{this https URL}.

연구 동기 및 목표

• 순수 협동적 다중 에이전트 환경에서 주요 MARL 알고리즘인 QMIX의 단조성 제약의 역할을 재검토하기 위해.
• 혼합 네트워크에서 단조성 제약를 완화하면 다양한 벤치마크 과제에서 일관된 성능 향상이 이루어지는지 조사하기 위해.
• 초파rameter 선택 및 학습 절차와 같은 실행 기법이 QMIX 변종의 보고된 성능에 미치는 영향을 평가하기 위해.
• 단조성 혼합 네트워크가 순수 협동적 MARL 과제를 어떤 경우에도 표현할 수 있는지 이론적으로 분석하기 위해.
• 단조성 제약를 완화하는 데 미치는 진정한 영향을 파악하기 위해 공정한 그리드 서치 기반의 QMIX 및 그 변종의 재평가를 제공하기 위해.

제안 방법

• QMIX에서 단조성 제약의 영향을 체계적으로 연구하기 위해 새로운 모델인 RMC(단조성 제약 재고)를 제안한다.
• 성능에 미치는 영향을 분리하기 위해 QMIX 및 그 변종에 걸쳐 광범위한 그리드 초파라미터 서치를 수행한다.
• 단조성 혼합 네트워크의 이론적 표현 능력을 분석하여, 어떤 순수 협동적 MARL 과제도 표현할 수 있음을 증명한다.
• SMAC 및 사냥-사냥개와 같은 벤치마크 환경을 사용하여 통제된, 공정한 학습 조건 하에서 성능을 평가한다.
• 동일한 초파라미터와 학습 프로토콜을 사용하여 단조성 제약 유무에 따라 QMIX를 구현하고 비교한다.
• 재현 가능성을 보장하고 향후 MARL 알고리즘의 일관된 평가 프로토콜을 위한 기반을 마련하기 위해 코드를 오픈소스로 제공한다.

실험 결과

연구 질문

• RQ1 QMIX의 단조성 제약는 순수 협동적 MARL 과제에서 샘플 효율성을 향상시키는가?
• RQ2 학습률 스케줄링 및 정규화와 같은 실행 기법은 QMIX 변종의 보고된 성능 향상에 얼마나 큰 기여를 하는가?
• RQ3 혼합 네트워크에서 단조성 제약를 완화하면 다양한 협동적 MARL 환경에서 일관되게 성능 향상이 이루어지는가?
• RQ4 단조성 혼합 네트워크는 이론적으로 어떤 순수 협동적 MARL 과제도 표현할 수 있는가?
• RQ5 단조성 제약를 유지한 QMIX는 공정하고 초파라미터 최적화된 조건에서 평가했을 때 여전히 최고의 성능을 기록하는가?

주요 결과

• QMIX의 단조성 제약는 일부 순수 협동적 MARL 과제에서 샘플 효율성을 향상시키며, 실용적 가치를 지닌다.
• 전체 그리드 초파라미터 서치를 거친 후, 단조성 제약를 유지한 QMIX는 단조성 제약를 완화한 변종들보다도 최고의 성능를 기록한다.
• QMIX 변종의 성능 향상은 주로 단조성 제약의 완화 자체보다는 실행 기법에 기인해 있다.
• 이론적 분석을 통해 단조성 혼합 네트워크가 어떤 순수 협동적 MARL 과제도 표현할 수 있음을 확인했으며, 이는 표현 능력이 충분함을 시사한다.
• 단조성 제약를 완화한다고 해서 성능 향상이 항상 이루어지는 것은 아니며, 일반적으로 이러한 완화가 본질적으로 유리하다는 공통 가정을 뒤집는다.
• 본 연구는 공정한 평가가 필수적임을 입증했으며, 이전 비교는 일관되지 않은 초파라미터 선택과 학습 절차로 인해 편향될 수 있음을 시사한다.