[논문 리뷰] A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation

Gang Chen|arXiv (Cornell University)|2019. 10. 21.

Reinforcement Learning in Robotics인용 수 28

한 줄 요약

이 논문은 중심화된 훈련과 타깃 정책을 통한 탐색을 가능하게 하고, 정책 분산을 통해 분산 실행을 수행하는 다중 에이전트 강화학습 프레임워크인 CTEDD를 제안한다. 최대 엔트로피 강화학습을 활용해 균형 잡힌 탐색을 구현하고, 전역 정책을 국지적이고 통신 준비가 된 정책으로 분산시킴으로써, SOTA 기준인 MADDPG보다 뛰어난 샘플 효율성과 성능을 달성한다.

ABSTRACT

Deep reinforcement learning (DRL) is a booming area of artificial intelligence. Many practical applications of DRL naturally involve more than one collaborative learners, making it important to study DRL in a multi-agent context. Previous research showed that effective learning in complex multi-agent systems demands for highly coordinated environment exploration among all the participating agents. Many researchers attempted to cope with this challenge through learning centralized value functions. However, the common strategy for every agent to learn their local policies directly often fail to nurture strong inter-agent collaboration and can be sample inefficient whenever agents alter their communication channels. To address these issues, we propose a new framework known as centralized training and exploration with decentralized execution via policy distillation. Guided by this framework and the maximum-entropy learning technique, we will first train agents' policies with shared global component to foster coordinated and effective learning. Locally executable policies will be derived subsequently from the trained global policies via policy distillation. Experiments show that our new framework and algorithm can achieve significantly better performance and higher sample efficiency than a cutting-edge baseline on several multi-agent DRL benchmarks.

연구 동기 및 목표

• 복잡한 다중 에이전트 시스템에서 에이전트들이 공동으로 행동하여 전역 결과를 달성해야 하는 조율된 탐색의 과제를 해결하기 위해.
• 다중 에이전트 DRL에서 직접적인 국지 정책 학습이 내재한 샘플 비효율성과 열악한 조율 문제를 극복하기 위해.
• 통신 채널이 변경되더라도 효과적으로 작동하는 유연하고 통신에 강건한 정책을 가능하게 하기 위해.
• 훈련 시 전역 조율을 분리하고 추론 시 분산 실행을 수행함으로써 학습 효율성을 향상시키기 위해.
• 최대 엔트로피 RL을 통합하여 체계적으로 전체 시스템 수준에서 탐색과 이용의 균형을 이루기 위해.

제안 방법

• 전체 상태 입력을 처리할 수 있는 공통의 전역 딥 네트워크(DNN)를 훈련시켜 전역 정보에 접근 가능한 중심화된 정책 학습을 가능하게 한다.
• 최대 엔트로피 강화학습을 사용해 에이전트 간에 다양하고 조율된 탐색을 장려하고, 탐색과 이용의 균형을 맞춘다.
• 정책 분산을 적용하여 전역 정책을 각 에이전트의 국지적 관측에만 의존하는 실행 가능한 정책으로 전환한다.
• 다양한 통신 채널 구성(예: 1D 또는 3D 메시지 교환)을 지원하기 위해 동일한 전역 정책을 재사용하되, 재훈련 없이도 가능하다.
• 훈련과 실행을 분리한다: 전역 정책 훈련은 중심화된 방식이며, 최종 정책은 분산되고 확장 가능한 방식으로 실행된다.
• 공통의 전역 DNN를 사용하여 국지적 및 전역적 구성 요소를 혼합함으로써 조율를 유지하면서 정책 분산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전역 정책 감시를 통한 중심화된 훈련이 다중 에이전트 강화학습에서 조율성과 샘플 효율성을 향상시키는가?
• RQ2 전역 정책에서 정책 분산을 통해 효과적인 분산 실행이 가능해지며 성능을 유지하는가?
• RQ3 최대 엔트로피 학습이 다중 에이전트 시스템에서 조율된 탐색을 얼마나 향상시키는가?
• RQ4 동일한 전역 정책을 재훈련 없이 다양한 통신 채널 구성에 재사용할 수 있는가?
• RQ5 CTEDD는 MADDPG와 같은 최신 기술 기준에 비해 샘플 효율성과 최종 성능 면에서 어떻게 비교되는가?

주요 결과

• CTEDD-L-3는 약 150,000개의 학습 에피소드 후 CN-V1 환경에서 테스트 성능 -390을 기록했으며, 이는 MADDPG-3가 두 배의 에피소드가 필요했던 것과 비교해 뛰어난 성능이다.
• 분산된 국지 정책(CTEDD-L-1 및 CTEDD-L-3)이 전역 정책(CTEDD-G)과 거의 동일한 성능을 보였으며, 효과적인 지식 전달을 확인했다.
• 최대 엔트로피 RL의 사용으로 최적의 탐색 균형이 달성되었으며, 비최적의 표준편차 설정은 성능 저하를 유도했지만, 본 방법은 최고의 학습 속도와 최종 성능를 달성했다.
• 동일한 전역 정책을 재훈련 없이 다양한 통신 채널 구성에서 국지 정책 훈련에 재사용할 수 있었으며, 이는 높은 샘플 효율성을 보여주었다.
• 모든 평가 환경에서 CTEDD는 MADDPG-1과 MADDPG-3보다 학습 속도와 최종 테스트 성능 면에서 뚜렷한 우월성을 보였다.
• 전역 조율과 국지 정책 실행을 분리함으로써 통신 채널이 변경되더라도 프레임워크는 강력한 성능 유지를 유지했다.