[논문 리뷰] Heterogeneous-Agent Mirror Learning: A Continuum of Solutions to Cooperative MARL

Jakub Grudzien Kuba, Xidong Feng외 4명|arXiv (Cornell University)|2022. 08. 02.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 협동적 다중에이전트 강화학습(MARL) 알고리즘을 통합하고 일반화하는 이론적 프레임워크인 이종에이전트 미러러닝(Heterogeneous-Agent Mirror Learning, HAML)을 제안한다. 이 프레임워크는 보상의 단조적 향상과 나시 균형에의 수렴을 보장한다. 또한 최신 기술(HATRPO 및 HAPPO)이 HAML의 엄밀한 사례임을 증명하고, HAA2C와 HADDPG와 같은 새로운 HAML 기반 알고리즘을 도입하여 스타크래프트II 및 다중에이전트 MuJoCo 벤치마크에서 강력한 기준 성능을 초월한다.

ABSTRACT

The necessity for cooperation among intelligent machines has popularised cooperative multi-agent reinforcement learning (MARL) in the artificial intelligence (AI) research community. However, many research endeavors have been focused on developing practical MARL algorithms whose effectiveness has been studied only empirically, thereby lacking theoretical guarantees. As recent studies have revealed, MARL methods often achieve performance that is unstable in terms of reward monotonicity or suboptimal at convergence. To resolve these issues, in this paper, we introduce a novel framework named Heterogeneous-Agent Mirror Learning (HAML) that provides a general template for MARL algorithmic designs. We prove that algorithms derived from the HAML template satisfy the desired properties of the monotonic improvement of the joint reward and the convergence to Nash equilibrium. We verify the practicality of HAML by proving that the current state-of-the-art cooperative MARL algorithms, HATRPO and HAPPO, are in fact HAML instances. Next, as a natural outcome of our theory, we propose HAML extensions of two well-known RL algorithms, HAA2C (for A2C) and HADDPG (for DDPG), and demonstrate their effectiveness against strong baselines on StarCraftII and Multi-Agent MuJoCo tasks.

연구 동기 및 목표

• 협동적 MARL에서 이론적 보장이 부족한 문제를 해결하기 위해, 기존 알고리즘이 종종 단조적 향상 또는 수렴 성질을 갖지 못하는 점을 해결한다.
• 다중에이전트 환경에서 보상의 단조적 향상과 나시 균형 수렴을 보장하는 통합된 이론적 프레임워크를 개발한다.
• 현재 최고 성능(MARL) 알고리즘인 HATRPO와 HAPPO가 이 프레임워크의 엄밀한 사례임을 입증한다.
• 이 프레임워크에서 衍생된 새로운 HAML 기반 알고리즘(HAA2C 및 HADDPG)을 유도하고, 이들이 이론적 타당성을 유지하면서도 뛰어난 경험적 성능을 달성함을 검증한다.

제안 방법

• HAML은 다중에이전트 강화학습을 위한 미러러닝 프레임워크를 도입하며, 정책 간의 편차 기능(정책 간의 준거리)을 사용하여 이점 사기성의 형태를 조정함으로써 이론적 보장을 확보한다.
• 프레임워크는 개별 정책 업데이트를 순열된 순서로 허용함으로써 이종 에이전트를 지원하며, 공동 이점 추정과 함께 독립적 최적화를 가능하게 한다.
• HAML은 신뢰영역 원리를 다중에이전트 환경으로 일반화하여, 정교하게 구성된 목적 함수를 통해 단조적 향상을 유지한다.
• HAA2C는 A2C를 다중에이전트 환경으로 확장하며, 중요도 샘플링을 사용한 공동 이점 추정을 바탕으로 무작위 순서로 에이전트를 순차적으로 업데이트한다.
• HADDPG는 DDPG를 다중에이전트 환경으로 확장하며, 오프-폴리시 학습 중 크리틱의 이전 액션들을 새로운 액션들로 교체함으로써 목적 함수의 등가성을 유지한다.
• 프레임워크는 파rameter 공유나 대칭 정책을 요구하지 않으며, 이론적 수렴 보장을 갖춘 이종 정책 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 협동적 다중에이전트 강화학습을 위한 통합된 이론적 프레임워크를 개발할 수 있는가? 이는 보상의 단조적 향상과 나시 균형 수렴을 보장해야 한다.
• RQ2 기존 최고 성능의 MARL 알고리즘인 HATRPO와 HAPPO가 더 일반적인, 증명 가능한 정확한 프레임워크의 엄밀한 사례인가?
• RQ3 이 프레임워크에서 衍생된 새로운 MARL 알고리즘이 복잡한 다중에이전트 환경에서 기존 기준 성능을 초월할 수 있는가?
• RQ4 HAML 프레임워크는 파rameter 공유에 의존하지 않고도 이종 다중에이전트 환경에서 효과적인 학습을 가능하게 하는가?

주요 결과

• HATRPO와 HAPPO가 HAML 프레임워크의 엄밀한 사례임이 공식적으로 입증되어 프레임워크의 표현력과 이론적 기반을 확인한다.
• 스타크래프트II 다중에이전트 챌린지(SMAC)에서 HAA2C는 MAA2C-S(동종성)와 MAA2C-NS(이종성) 모두보다 높은 평균 수익과 낮은 분산을 달성한다.
• 다중에이전트 MuJoCo 벤치마크에서 HAA2C는 MAA2C-NS를 뚜렷이 앞서며, 다양한 에이전트 정책이 필요한 과제에서 특히 두각을 나타내어 이종 학습의 이점을 확인한다.
• 다중 연속 제어 과제에서 HADDPG는 MADDPG보다 더 높은 수익과 낮은 분산을 기록하여 뛰어난 샘플 효율성과 안정성을 입증한다.
• 경험적 결과는 HAML 기반 알고리즘이 실질적으로도 이론적 성질을 유지하며 강력한 기준 성능을 상회하는 일관된 성능 향상을 보임을 확인한다.
• 프레임워크는 이론적 타당성을 훼손하지 않으면서도 새로운 MARL 알고리즘의 유도를 성공적으로 가능하게 하여 실용성과 이론적 유용성을 입증한다.