[논문 리뷰] MA2QL: A Minimalist Approach to Fully Decentralized Multi-Agent Reinforcement Learning

Kefan Su, Siyuan Zhou외 4명|arXiv (Cornell University)|2022. 09. 17.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

MA2QL는 비정상성 문제를 해결하기 위해 에이전트가 Q-학습을 통해 번갈아가며 Q-함수를 업데이트하는 최소화된 완전 탈중앙화 다중에이전트 강화학습 알고리즘을 제안한다. 독립적 Q-학습(IQL)에 대한 최소한의 수정에도 불구하고, 다양한 환경에서 일관된 성능 향상을 달성하며, $\varepsilon$-수렴 조건 하에 이론적으로 나시 균형에 수렴함을 보장한다.

ABSTRACT

Decentralized learning has shown great promise for cooperative multi-agent reinforcement learning (MARL). However, non-stationarity remains a significant challenge in fully decentralized learning. In the paper, we tackle the non-stationarity problem in the simplest and fundamental way and propose multi-agent alternate Q-learning (MA2QL), where agents take turns updating their Q-functions by Q-learning. MA2QL is a minimalist approach to fully decentralized cooperative MARL but is theoretically grounded. We prove that when each agent guarantees $\varepsilon$-convergence at each turn, their joint policy converges to a Nash equilibrium. In practice, MA2QL only requires minimal changes to independent Q-learning (IQL). We empirically evaluate MA2QL on a variety of cooperative multi-agent tasks. Results show MA2QL consistently outperforms IQL, which verifies the effectiveness of MA2QL, despite such minimal changes.

연구 동기 및 목표

• 완전 탈중앙화된 협동 다중에이전트 강화학습(MARL)에서의 비정상성 문제를 해결하기 위해.
• 독립적 Q-학습(IQL)에 대한 최소한의 수정만으로도 이론적으로 탄탄한 접근법을 개발하기 위해.
• 턴 기반 학습이 복잡한 부분 관찰 가능한 환경에서 학습을 안정화시키고 성능을 향상시킴을 경험적으로 검증하기 위해.
• 이론적 분석을 통해 이중 이산 및 연속 행동 공간, 완전/부분 관찰 설정에서의 확장성과 강인성을 입증하기 위해.

제안 방법

• 에이전트들이 표준 Q-학습을 사용해 번갈아가며 Q-함수를 업데이트하며, 각 업데이트 턴 동안 모든 에이전트가 환경과 상호작용한다.
• 고정된 학습 스케줄을 적용하여 각 에이전트가 순서대로 업데이트되도록 하여 정책 업데이트를 효과적으로 분리함으로써 비정상성을 감소시킨다.
• 이론적 분석을 통해 각 에이전트가 자신의 업데이트 턴 동안 $\varepsilon$-수렴을 달성할 경우, 연합 정책이 나시 균형으로 수렴함을 증명한다.
• 알고리즘은 최소한의 코드 수정으로 구현 가능하다: IQL의 학습 루프에서 환경 상호작용과 에이전트 업데이트의 순서를 뒤바꾸기만 하면 된다.
• 이 방법은 DDPG를 사용하여 이산 행동(예: MPE, SMAC) 및 연속 행동(예: 다중에이전트 MuJoCo) 환경 모두에서 호환 가능하다.
• 학습 중에 전역 상태나 통신을 사용하지 않아 완전한 탈중앙화를 유지한다.

실험 결과

연구 질문

• RQ1 최소화된 턴 기반 업데이트 스케줄이 완전 탈중앙화 MARL에서 학습을 안정화시키고 비정상성을 완화할 수 있는가?
• RQ2 교대로 Q-학습이 표본화된 Dec-POMDP 설정에서 나시 균형으로 수렴하는가?
• RQ3 MA2QL은 다양한 MARL 벤치마크에서 IQL을 초월할 수 있으며, 코드 수정이 최소한일까?
• RQ4 MA2QL은 하이퍼파rameter 변화에 대해 얼마나 강인하며, 더 큰 다중에이전트 환경으로 확장될 수 있는가?
• RQ5 교대로 학습하는 스케줄이 부분 관찰 가능하고 고복잡도 환경에서 성능 향상에 기여하는가?

주요 결과

• 스토케스틱 게임에서 MA2QL는 IQL보다 유의미하게 더 빠르게 수렴하며, 안정성과 수렴 속도 향상을 입증한다.
• 스타크래프트 다중에이전트 챌린지(SMAC)에서, MA2QL는 하드 및 슈퍼하드 지도($\mathtt{5m\_vs\_6m}$ 및 $\mathtt{corridor}$)에서 IQL를 능가하여 더 높은 승리 비율을 기록한다.
• 다중에이전트 MuJoCo에서, MA2QL는 15에이전트 및 17에이전트 작업 전반에서 IQL를 일관되게 능가하며, 뛰어난 확장성과 강인성을 보여준다.
• 하이퍼파rameter 분석 결과, 다양한 학습률과 배치 크기 조건에서도 MA2QL는 IQL에 비해 성능 우위를 유지함을 확인하여 강인성을 입증한다.
• 3에이전트 허퍼 및 3×2 할프체타 테스크에서, K(각 턴당 업데이트 횟수)가 변하더라도 MA2QL는 IQL보다 더 나은 최종 성능을 달성한다.
• 이론적 분석을 통해 각 에이전트가 턴당 $\varepsilon$-수렴을 달성할 경우, MA2QL는 표본화된 설정에서 나시 균형으로 수렴함을 확인한다.