[논문 리뷰] Heterogeneous-Agent Reinforcement Learning

Yifan Zhong, Jakub Grudzien Kuba외 4명|arXiv (Cornell University)|2023. 04. 19.

Reinforcement Learning in Robotics인용 수 22

한 줄 요약

논문은 이종 에이전트와 함께 협력적 다중 에이전트 강화 학습을 위한 이론적으로 근거 있는 알고리즘 시퀀스 HARL을 도입하며, 순차 업데이트 체계와 합치된 HAML 프레임워크를 통해 합의적인 공동 보상 개선 및 내쉬 균형으로의 수렴을 보장한다.

ABSTRACT

The necessity for cooperation among intelligent machines has popularised cooperative multi-agent reinforcement learning (MARL) in AI research. However, many research endeavours heavily rely on parameter sharing among agents, which confines them to only homogeneous-agent setting and leads to training instability and lack of convergence guarantees. To achieve effective cooperation in the general heterogeneous-agent setting, we propose Heterogeneous-Agent Reinforcement Learning (HARL) algorithms that resolve the aforementioned issues. Central to our findings are the multi-agent advantage decomposition lemma and the sequential update scheme. Based on these, we develop the provably correct Heterogeneous-Agent Trust Region Learning (HATRL), and derive HATRPO and HAPPO by tractable approximations. Furthermore, we discover a novel framework named Heterogeneous-Agent Mirror Learning (HAML), which strengthens theoretical guarantees for HATRPO and HAPPO and provides a general template for cooperative MARL algorithmic designs. We prove that all algorithms derived from HAML inherently enjoy monotonic improvement of joint return and convergence to Nash Equilibrium. As its natural outcome, HAML validates more novel algorithms in addition to HATRPO and HAPPO, including HAA2C, HADDPG, and HATD3, which generally outperform their existing MA-counterparts. We comprehensively test HARL algorithms on six challenging benchmarks and demonstrate their superior effectiveness and stability for coordinating heterogeneous agents compared to strong baselines such as MAPPO and QMIX.

연구 동기 및 목표

• 동형 파라미터 공유가 이종 에이전트의 MARL에서 가지는 한계를 다룬다.
• 에이전트 간의 순차적이고 조정된 업데이트를 가능하게 하는 이론적으로 근거 있는 프레임워크를 개발한다.
• HATRL 절차와 그 합리적 근사인 HATRPO 및 HAPPO를 도입한다.
• 합리적인 개선 보장과 내쉬 균형 수렴을 보장하는 이종 에이전트 미러 학습(HAML) 프레임워크를 제안한다.
• 이질적인 에이전트가 있는 벤치마크에서 HARL 알고리즘의 실험적 성능 향상을 시연한다.

제안 방법

• 다중 에이전트 이점 분해 보조정리를 도출하여 공동 정책에서 에이전트의 순차적 업데이트를 가능하게 한다.
• 순차 업데이트 체계와 단조로운 개선 보장을 갖춘 이종 에이전트 신뢰영역 학습(HATRL)을 제안한다.
• HATRL의 실용적 근사로서 tractable한 알고리즘인 HATRPO와 HAPPO를 개발한다.
• 이론적 보장이 있는 일반 템플릿으로서 이종 에이전트 미러 학습(HAML)을 도입한다.
• HARL에서 파생된 알고리즘(HAA2C, HADDPG, HATD3)이 공동 보상 수렴과 NE 수렴을 단조적으로 개선하는 것을 보여준다.
• MPE, MAMuJoCo, SMAC/SMACv2, GRF, Bi-DexterousHands에서 오픈 소스 PyTorch 구현 및 광범위한 벤치마킹을 제공한다.

실험 결과

연구 질문

• RQ1 파라미터 공유에 의존하지 않고 실제로 이종 에이전트를 다루는 다중 에이전트 강화 학습을 어떻게 확장할 수 있는가?
• RQ2 다중 에이전트 이점 분해에 의해 안내되는 순차 업데이트 체계가 협력적 MARL에서 단조로운 개선 및 내쉬 균형 수렴을 보장할 수 있는가?
• RQ3 이종 에이전트 설정을 구현하기 위한 HATRL과 HAML의 실용적으로 효과적인 트랙션 알고리즘은 무엇인가?
• RQ4 HAML 프레임워크가 HATRPO/HAPPO를 넘어 일반화되어 추가적인 강건한 HARL 알고리즘을 산출하는가?
• RQ5 HARL 알고리즘이 이질적인 에이전트가 있는 벤치마크에서 기존 MA 대안들보다 우수한가?

주요 결과

• HARL 알고리즘은 이종 벤치마크에서 MAPPO와 QMIX와 같은 강력한 베이스라인보다 일반적으로 우수한 성능을 보인다.
• 순차 업데이트 체계는 학습 불안정으로부터 보호하고 동시 업데이트에 비해 수렴 보장을 개선한다.
• HAPPO 및 HATD3가 선두 성능으로 부상하며, HATD3는 오프폴리시 설정에서 샘플 효율성을 개선한다.
• HAML은 이론적 보장을 더 넓은 협력 MARL 알고리즘 계통으로 확장하는 단일화된 템플릿을 제공한다.
• 에이전트 이질성이 증가할수록 HARL 결과가 강건해져 다양한 작업 설정에서 견고함을 나타낸다.