[논문 리뷰] PMIC: Improving Multi-Agent Reinforcement Learning with Progressive Mutual Information Collaboration

Pengyi Li, Haoyu Tang외 9명|arXiv (Cornell University)|2022. 03. 16.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 고품질 협업을 위해 글로벌 상태와 공동 행동 간 상호정보량(MI)을 점진적으로 최대화하고, 열 劣질 협업을 위해 최소화함으로써 협업을 향상시키는 새로운 다중 에이전트 강화학습 프레임워크인 PMIC를 제안한다. 이중 점진적 협업 버퍼와 이중 상호정보량 추정기로 구성되어 있어 학습 속도가 빨라지고 다양한 다중 에이전트 강화학습(MARL) 벤치마크에서 기존의 기준보다 뛰어난 샘플 효율성과 성능을 달성한다.

ABSTRACT

Learning to collaborate is critical in Multi-Agent Reinforcement Learning (MARL). Previous works promote collaboration by maximizing the correlation of agents' behaviors, which is typically characterized by Mutual Information (MI) in different forms. However, we reveal sub-optimal collaborative behaviors also emerge with strong correlations, and simply maximizing the MI can, surprisingly, hinder the learning towards better collaboration. To address this issue, we propose a novel MARL framework, called Progressive Mutual Information Collaboration (PMIC), for more effective MI-driven collaboration. PMIC uses a new collaboration criterion measured by the MI between global states and joint actions. Based on this criterion, the key idea of PMIC is maximizing the MI associated with superior collaborative behaviors and minimizing the MI associated with inferior ones. The two MI objectives play complementary roles by facilitating better collaborations while avoiding falling into sub-optimal ones. Experiments on a wide range of MARL benchmarks show the superior performance of PMIC compared with other algorithms.

연구 동기 및 목표

• 기존의 상호정보량(MI) 기반 다중 에이전트 강화학습(MARL) 방법들이 고품질 및 열 劣질 협업을 구분하지 않고 상관관계를 최대화하는 데에 한계가 있음을 해결하기 위해.
• 글로벌 상태와 공동 행동 간 상호정보량에 기반한 새로운 협업 기준을 제안하여 효과적인 협업을 위한 개선된 가이드라인을 제공하기 위해.
• 이중 상호정보량 추정을 통해 우수한 협업을 동시에 촉진하고 열 劣질 협업을 피하는 점진적 학습 메커니즘을 설계하기 위해.
• 기존의 CTDE 기반 MARL 알고리즘(MADDPG, MASAC, RODE 등)과 호환 가능한 일반화 가능한 프레임워크를 개발하기 위해.

제안 방법

• 글로벌 상태와 공동 행동 간 상호정보량(MI)을 측정하는 새로운 협업 기준을 도입하여 추가적인 글로벌 입력에 의존하는 것을 제거하기 위해.
• 우수한 협업 궤적과 열 劣질 협업 궤적을 별도로 유지하는 이중 점진적 협업 버퍼(Du-PCB)를 설계하기 위해.
• 양방향 상호정보량 추정기(Du-MIE)를 구현하여, 하나는 열 劣질 버퍼에서 MI를 최소화하는 데(상한선), 다른 하나는 우수한 버퍼에서 MI를 최대화하는 데(하한선) 사용하는 두 개의 신경망 기반 MI 추정기를 사용하기 위해.
• CLUB와 MINE를 사용해 MI의 하한과 상한을 학습시켜, 협업 품질을 점진적으로 개선하기 위해.
• 기존 MARL 알고리즘에 Du-PCB와 Du-MIE 컴포넌트를 추가하여 표준 강화학습 목표와 함께 엔드 투 엔드 학습이 가능하도록 통합하기 위해.
• MI 최대화와 최소화의 영향을 조절하기 위해 하이퍼파rameter α와 β를 사용하여 적응형 학습 동역학을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 에이전트 행동 간 상호정보량을 단지 최대화하는 것만으로도 열 劣질 협업에 이를 수 있으며, 이는 학습을 방해할 수 있는가?
• RQ2 상호정보량 추정을 통해 고품질 협업과 열 劣질 협업을 구분함으로써 다중 에이전트 강화학습(MARL)에서 학습 효율성과 성능이 향상되는가?
• RQ3 좋은 행동에 대해서는 상호정보량을 최대화하고 나쁜 행동에 대해서는 최소화하는 점진적 상호정보량 추정 프레임워크가 더 빠른 수렴과 더 나은 최종 성능을 이끌 수 있는가?
• RQ4 MADDPG와 MASAC 등의 기존 MARL 알고리즘과 결합했을 때, PMIC는 다양한 환경에서 얼마나 효과적인가?

주요 결과

• PMIC는 이산 및 연속 동작 공간을 모두 가진 다양한 협동 환경에서 기존의 MARL 알고리즘에 비해 학습 속도를 크게 향상시키고 뛰어난 성능을 달성한다.
• Wildlife Rescue 실험에서 열 劣질 행동에 대한 MI 최소화가 국소 최적점에서 벗어나 200만 단위 시간 단위 이후 누적 보상치를 높이는 데 기여함을 확인했다.
• 단절 실험 결과는 이중 점진적 협업 버퍼(Du-PCB)가 필수적임을 입증하였으며, 표준 리PLAY 버퍼로 대체할 경우 행동의 차이를 구분하지 못해 성능이 떨어짐을 확인했다.
• 파라미터 분석 결과 α와 β 모두 성능에 상당한 영향을 미치며, 최적의 값은 환경의 협업 구조에 따라 달라지며 예를 들어 다수의 열 劣질 협업 유형이 존재하는 환경에서는 더 높은 β 값을 필요로 함을 확인했다.
• 글로벌 상태와 공동 행동 간 상호정보량 측정 방식이 효과적인 협업을 이끄는 데 있어 다른 상호정보량 메트릭보다 뛰어난 성능을 보였다.
• PMIC는 MADDPG, MASAC, RODE 등 여러 MARL 알고리즘에서 성능 향상을 이끌어내어 일반화 능력이 뛰어나며, 호환성과 효과성을 입증했다.