[논문 리뷰] Parameter Sharing is Surprisingly Useful for Multi-Agent Deep Reinforcement Learning.

Justin K. Terry, Nathaniel Grammel외 4명|arXiv (Cornell University)|2020. 05. 27.

Reinforcement Learning in Robotics참고 문헌 25인용 수 29

한 줄 요약

이 논문은 다중에이전트 강화학습(MARL)에서 아직 적극적으로 활용되지 않은 파라미터 공유가 중심화된 훈련을 통해 비정적성(nonstationarity)을 감소시켜 학습 효율성과 성능을 크게 향상시킬 수 있음을 보여준다. 파라미터 공유를 통해 이전 설정 대비 16%의 에피소드만으로도 평균 보상의 최대 44배 증가를 달성했으며, 이는 이질적인 환경에서도 사용 가능한 공식적 확장도 제공한다.

ABSTRACT

Nonstationarity is a fundamental problem in cooperative multi-agent reinforcement learning (MARL)--each agent must relearn information about the other agent's policies due to the other agents learning, causing information to ring between agents and convergence to be slow. The MAILP model, introduced by Terry and Grammel (2020), is a novel model of information transfer during multi-agent learning. We use the MAILP model to show that increasing training centralization arbitrarily mitigates the slowing of convergence due to nonstationarity. The most centralized case of learning is parameter sharing, an uncommonly used MARL method, specific to environments with homogeneous agents, that bootstraps a single-agent reinforcement learning (RL) methods and learns an identical policy for each agent. We experimentally replicate the result of increased learning centralization leading to better performance on the MARL benchmark set from Gupta et al. (2017). We further apply parameter sharing to 8 modern single-agent deep RL (DRL) methods for the first time in the literature. With this, we achieved the best documented performance on a set of MARL benchmarks and achieved upto 44 times more average reward in as little as 16% as many episodes compared to documented parameter sharing arrangement. We finally offer a formal proof of a set of methods that allow parameter sharing to serve in environments with heterogeneous agents.

연구 동기 및 목표

• 학습 중에 에이전트의 정책이 동적으로 변화하는 상황에서 발생하는 비정적성 문제를 다루는 것.
• 특히 파라미터 공유를 통한 훈련의 중심화를 통해 비정적성으로 인한 수렴 지연을 완화할 수 있는지 조사하는 것.
• 에이전트의 정책이나 관측이 다른 이질적인 환경에서도 파라미터 공유를 적용할 수 있도록 확장하는 것.
• 8종의 현대적 딥RL 알고리즘을 활용해 MARL 벤치마크에서 파라미터 공유의 성능을 평가하여 최신 기준 수준의 성능을 확립하는 것.
• 이종 에이전트에 대한 파라미터 공유의 확장을 위한 공식적 증명을 제공하는 것.

제안 방법

• Terry & Grammel(2020)의 MAILP 모델을 활용해 다중에이전트 학습 중 정보 전달 동역학을 수식적으로 기술한다.
• 모든 에이전트가 단일 정책 네트워크를 공유하는 가장 중심화된 훈련 방식으로 파라미터 공유를 구현한다.
• SAC, PPO, DQN 등 8종의 현대적 단일에이전트 딥RL 방법에 대해 처음으로 MARL에서 파라미터 공유를 적용한다.
• 공유된 파라미터로 훈련하여 단일에이전트 RL 방법의 성능을 향상시키고, 더 빠른 수렴과 향상된 샘플 효율성을 달성한다.
• 이종 에이전트에 파라미터 공유를 적용할 수 있는 조건들을 제안하고 공식적으로 증명한다.
• Gupta 등(2017)의 MARL 벤치마크 세트를 사용해 다양한 협동 환경에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 파라미터 공유를 통한 훈련 중심화가 MARL에서 비정적성으로 인한 수렴 지연을 어느 정도 감소시키는가?
• RQ2 현대적 딥RL 알고리즘에 다중에이전트 환경에서 파라미터 공유를 성공적으로 적용할 수 있으며, 샘플 효율성이 향상되는가?
• RQ3 기본 벤치마크에서 이전 MARL 방법 대비 파라미터 공유가 달성하는 성능 향상은 어떠한가?
• RQ4 이종 다중에이전트 환경으로 파라미터 공유를 확장할 수 있으며, 어떤 공식적 조건에서 효과를 유지하는가?
• RQ5 비공유, 분산형 훈련 방식과 비교해 파라미터 공유의 샘플 효율성과 최종 성능은 어떠한가?

주요 결과

• 이전에 보고된 파라미터 공유 설정과 동일한 벤치마크에서 평균 누적 보상이 최대 44배 높아졌다.
• 이전의 파라미터 공유 실험에서 사용된 에피소드 수의 16%만으로도 뛰어난 성능을 달성했다.
• Gupta 등(2017)의 MARL 벤치마크 세트 전반에서 성능 향상이 일관되게 관찰되어 중심화의 효과를 확인했다.
• 이 연구는 벤치마크 세트에서 기록된 최고의 성능을 확립하여, 파라미터 공유를 활용한 MARL의 새로운 최신 기준을 설정했다.
• 이종 에이전트에 대한 파라미터 공유의 확장을 위한 공식적 증명을 제시하여 이전에 제한되었던 환경에서도 활용 가능하게 했다.
• 결과적으로 파라미터 공유가 MARL 훈련의 안정성과 샘플 효율성을 향상시키는 매우 효과적이고 아직 활용도가 낮은 방법임을 확인했다.