[논문 리뷰] Evolutionary Reinforcement Learning for Sample-Efficient Multiagent Coordination

Shauharda Khadka, Somdeb Majumdar외 3명|arXiv (Cornell University)|2019. 06. 18.

Reinforcement Learning in Robotics참고 문헌 37인용 수 26

한 줄 요약

이 논문은 신경진화학습을 통한 팀 기반 희박 보상 최적화와 정책 기울기 방법을 이용한 에이전트별 조밀한 보상 학습을 분리하는 하이브리드 프레임워크인 다중에이전트 진화 강화학습(MERL)을 제안한다. 두 최적화 과정 간에 공유된 리PLAY 버퍼를 통해 정기적으로 정책을 이전함으로써, 수동 보상 형상 조정 없이도 샘플 효율성과 다중에이전트 환경 내의 협력 능력을 향상시켜, 복잡한 벤치마크에서 기존 최고 수준의 방법인 MADDPG를 능가한다.

ABSTRACT

Many cooperative multiagent reinforcement learning environments provide agents with a sparse team-based reward, as well as a dense agent-specific reward that incentivizes learning basic skills. Training policies solely on the team-based reward is often difficult due to its sparsity. Furthermore, relying solely on the agent-specific reward is sub-optimal because it usually does not capture the team coordination objective. A common approach is to use reward shaping to construct a proxy reward by combining the individual rewards. However, this requires manual tuning for each environment. We introduce Multiagent Evolutionary Reinforcement Learning (MERL), a split-level training platform that handles the two objectives separately through two optimization processes. An evolutionary algorithm maximizes the sparse team-based objective through neuroevolution on a population of teams. Concurrently, a gradient-based optimizer trains policies to only maximize the dense agent-specific rewards. The gradient-based policies are periodically added to the evolutionary population as a way of information transfer between the two optimization processes. This enables the evolutionary algorithm to use skills learned via the agent-specific rewards toward optimizing the global objective. Results demonstrate that MERL significantly outperforms state-of-the-art methods, such as MADDPG, on a number of difficult coordination benchmarks.

연구 동기 및 목표

• 희박한 팀 기반 보상으로 인한 샘플 비효율적 학습 문제를 해결한다.
• 단지 조밀한 에이전트별 보상에 의존할 경우 팀 협력 목표를 포착하지 못하는 한계를 극복한다.
• 영역 전문 지식이 필요하고 기저 MDP를 왜곡할 수 있는 수동 보상 형상 조정 또는 스칼라화를 제거한다.
• 기울기 기반 최적화와 기울기 없는 최적화 과정 간 효과적인 정보 공유를 가능하게 하여 명시적 보상 조합 없이도 협력을 향상시킨다.
• 기존 방법이 실패하는 복잡한 협력 작업에까지 확장 가능한 일반 목적의 MARL 프레임워크를 개발한다.

제안 방법

• 기울기 없는 진화 알고리즘(신경진화학습)이 희박한 팀 기반 보상을 최적화하는 분할 수준 학습 프레임워크를 적용한다.
• 기울기 기반 정책 기울기 방법(예: TD3 기반)을 사용해 동시에 조밀한 에이전트별 보상을 최대화한다.
• 학습된 정책 기울기를 정기적으로 진화 집단으로 이전하여 습득한 기본 기술을 전달한다.
• 두 최적화 과정 간에 공유된 리PLAY 버퍼를 유지하여 정보 공유를 가능하게 하고 샘플 효율성을 향상시킨다.
• 이전 효과성을 평가하기 위해 조건부 선택 메커니즘을 적용하여 유용한 정책만 진화 집단에 유지한다.
• 기울기 없는 진화 과정이 팀 협력을 진화시키면서도 정책 기울기에서 사전에 학습된 기술을 활용하는舣-레벨 최적화 루프를 적용한다.

실험 결과

연구 질문

• RQ1 신경진화학습과 정책 기울기의 하이브리드 최적화 프레임워크가 보상 형상 조정 없이도 다중에이전트 협력 강화학습에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 기울기 기반 정책 학습자가 진화 집단으로 정보를 이전할 때 팀 협력 능력 향상에 얼마나 효과적인가?
• RQ3 MERL은 희박한 팀 보상과 조밀한 에이전트별 보상을 동시에 가진 환경에서 기존 최고 수준의 MARL 방법인 MADDPG를 능가하는가?
• RQ4 기존 방법이 학습에 실패하는 점점 더 복잡한 협력 과제에 MERL은 확장 가능한가?
• RQ5 조건부 이전이 진화 선택 과정과 전체 성능에 미치는 영향은 무엇인가?

주요 결과

• MERL은 Keep-Away, Predator-Prey, Physical Deception를 포함한 모든 테스트된 협력 벤치마크에서 MADDPG 및 그 TD3 향상 버전을 뛰어넘는 성능을 보였다.
• Keep-Away 환경에서는 MERL의 진화 알고리즘이 모든 베이스라인을 압도했으며, 정책 기울기 방법은 어려움을 겪었는데, 이는 MERL이 희박한 보상에 대해 뛰어난 강건성을 보임을 시사한다.
• Predator-Prey 과제에서 이전된 정책의 조건부 선택 비율은 항상 0.47의 기준선을 초월했으며, 이는 이전된 정책가 자주 선택되고 진화 과정에 기여했음을 의미한다.
• Physical Deception 및 Rover 도메인에서는 이전된 정책가 초기에 강력한 이점을 제공했지만, 시간이 지남에 따라 그 영향력은 점점 줄어들었으며, 이는 인구 동적 변화에 따라 진화하는 적응형 정보 전달을 나타낸다.
• MERL은 보상 형상 조정이나 수동 튜닝 없이도 뛰어난 성능을 달성하여 다양한 다중에이전트 협력 과제에 대한 일반화 능력을 입증했다.
• MERL는 기존 방법이 전혀 학습에 실패하는 복잡한 협력 과제에까지 유연하게 확장되었으며, 이는 MERL의 샘플 효율성과 강건성을 강력히 입증한다.