[논문 리뷰] Rethinking the Implementation Tricks and Monotonicity Constraint in Cooperative Multi-Agent Reinforcement Learning

Jian Hu, Siyang Jiang외 3명|arXiv (Cornell University)|2021. 02. 06.

Reinforcement Learning in Robotics참고 문헌 39인용 수 35

한 줄 요약

이 논문은 코드 수준의 최적화와 단조성 제약이 QMIX 기반 협력형 MARL에 미치는 영향을 분석하고, 최적화가 결과를 지배할 수 있으며 순수 협력 작업에서 단조성이 샘플 효율성을 개선할 수 있음을 보여준다.

ABSTRACT

Many complex multi-agent systems such as robot swarms control and autonomous vehicle coordination can be modeled as Multi-Agent Reinforcement Learning (MARL) tasks. QMIX, a widely popular MARL algorithm, has been used as a baseline for the benchmark environments, e.g., Starcraft Multi-Agent Challenge (SMAC), Difficulty-Enhanced Predator-Prey (DEPP). Recent variants of QMIX target relaxing the monotonicity constraint of QMIX, allowing for performance improvement in SMAC. In this paper, we investigate the code-level optimizations of these variants and the monotonicity constraint. (1) We find that such improvements of the variants are significantly affected by various code-level optimizations. (2) The experiment results show that QMIX with normalized optimizations outperforms other works in SMAC; (3) beyond the common wisdom from these works, the monotonicity constraint can improve sample efficiency in SMAC and DEPP. We also discuss why monotonicity constraints work well in purely cooperative tasks with a theoretical analysis. We open-source the code at \url{https://github.com/hijkzzz/pymarl2}.

연구 동기 및 목표

• 협동 MARL 벤치마크에서 QMIX 및 그 변형에 대한 구현 트릭의 영향 평가.
• 최적화가 표준화되었을 때 단조성 제약이 성능에 해를 끼치는지 또는 도움이 되는지 평가.
• 순수 협력 설정에서 단조성 제약이 언제 유익한지에 대한 이론적 논의 제공.
• 재현 코드를 오픈 소스화하고 MARL 공정 벤치마킹을 위한 지침 제시.

제안 방법

• QMIX 변형에 걸친 코드 수준 최적화를 조사하고 이를 표준화된 트릭으로 정리한다.
• 병렬 샘플링 하에서 최적화 알고리즘 선택(Adam vs RMSProp)의 영향에 대한 차폐 연구를 수행한다.
• SMAC와 DEPP에서 Replay Buffer 크기, 롤아웃 프로세스 수, 은닉 네트워크 크기, 탐색 스케줄의 영향을 평가한다.
• 단조성 혼합 네트를 비평가로 사용하는 정책 기반 엔드투엔드 액터-크리틱 RIIT를 제안하여 단조성 제약을 연구한다.
• 값 네트워크에 대한 단조성 효과를 평가하기 위해 VMIX로 실험을 확장한다.
• 단조성을 순수 협력성 vs 반/협력성 구간으로 관련짓는 이론적 정의와 명제를 제공한다.

실험 결과

연구 질문

• RQ1 코드 수준의 최적화가 SMAC/DEPP에서 QMIX 변형의 대부분의 성능 향상을 설명하는가?
• RQ2 최적화를 표준화했을 때 단조성 제약이 학습 효율에 악영향을 주는가, 아니면 개선하는가?
• RQ3 순수 협력 작업에서 단조성 제약이 샘플 효율성에 유리하다고 입증될 수 있는가?
• RQ4 RIIT/VMIX형 설정에서 단조성 완화를 허용할 때 비순수 협력 설정에서 도움이 되는가?

주요 결과

• 일관된 하이퍼파라미터 탐색 하에 코드 수준의 정규화된 최적화가 QMIX가 SMAC에서 여러 변형보다 우수하게 작동하도록 한다.
• Adam 옵티마이저를 사용한 병렬 학습이 RMSProp에 비해 QMIX 성능을 크게 향상시킨다.
• 작은 lambda를 가진 Q(lambda)가 QMIX를 가속화하지만 큰 값은 학습을 불안정하게 할 수 있으며, 더 작은 값이 권장된다.
• 리플레이 버퍼가 작을수록 다에이멀티에 걸친 QMIX 학습이 안정화된다.
• 특히 RNN 폭을 늘리는 은닉 네트워크 크기 증가가 어려운 SMAC 시나리오에서 눈에 띄는 성능 향상을 보인다.
• 정책 기반 RIIT 및 VMIX 분석에서 단조성 제약이 SMAC 및 DEPP의 샘플 효율성을 개선할 수 있으나, 트릭이 정규화되면 일반적으로 QMIX가 이완 변형보다 우수하다.
• 순수 협력 작업 구조는 단조성 혼합 네트워크를 지지하며, 단조성이 이점인 시점을 이론적으로 정당화한다.