[논문 리뷰] Deep Multi-Agent Reinforcement Learning for Decentralized Continuous Cooperative Control

Christian Schröder de Witt, Bei Peng외 4명|arXiv (Cornell University)|2020. 03. 14.

Reinforcement Learning in Robotics참고 문헌 28인용 수 41

한 줄 요약

이 논문은 중심화된 훈련과 분산 실행(Centralized Training with Decentralized Execution, CTDE)을 위한 연속적 로봇 제어를 위한 새로운 벤치마크 세트인 MAMuJoCo를 소개한다. 값 인자분해( value factorization)가 연속적 협동 과제에서 알고리즘 설계 선택보다 훨씬 뛰어난 성능을 보임을 입증하며, Q-학습에서 액터-크리틱 프레임워크로의 값 인자분해 기법 확장의 필요성을 제기한다. 새로운 MADDPG 변종들은 여러 과제에서 원본 방법을 능가한다.

ABSTRACT

Centralised training with decentralised execution (CTDE) is an important learning paradigm in multi-agent reinforcement learning (MARL). To make progress in CTDE, we introduce Multi-Agent MuJoCo (MAMuJoCo), a novel benchmark suite that, unlike StarCraft Multi-Agent Challenge (SMAC), the predominant benchmark environment, applies to continuous robotic control tasks. To demonstrate the utility of MAMuJoCo, we present a range of benchmark results on this new suite, including comparing the state-of-the-art actor-critic method MADDPG against two novel variants of existing methods. These new methods outperform MADDPG on a number of MAMuJoCo tasks. In addition, we show that, in these continuous cooperative MAMuJoCo tasks, value factorisation plays a greater role in performance than the underlying algorithmic choices. This motivates the necessity of extending the study of value factorisations from $Q$-learning to actor-critic algorithms.

연구 동기 및 목표

• 연속적 제어를 위한 다중 에이전트 강화학습(MARL)에 대한 벤치마크 부족 문제를 해결하기 위해, 특히 중심화된 훈련과 분산 실행(CTDE)에 초점을 맞춘다.
• 기존의 이산 행동 벤치마크인 SMAC와 대비하여 연속적 로봇 제어 과제에 특화된 새로운 벤치마크 세트인 MAMuJoCo를 개발한다.
• 연속적 협동 MARL 환경에서 값 인자분해와 알고리즘 선택 간의 영향을 평가한다.
• MAMuJoCo 벤치마크에서 기존의 MADDPG를 능가하는 성능을 보이는 새로운 액터-크리틱 변종을 제안하고 검증한다.

제안 방법

• MuJoCo 환경 기반으로 구축된 새로운 벤치마크 세트인 MAMuJoCo를 제안하며, 연속 행동 공간의 다중 에이전트 제어 과제를 위해 설계되었다.
• 중심화된 훈련과 분산 실행(CTDE)을 적용하여, 훈련 중에는 공동 정책 학습이 가능하지만 추론 시에는 독립적인 실행을 유지한다.
• 액터-크리틱 프레임워크에 값 인자분해 기법을 적용하여, 중심화된 가치 함수를 개별 에이전트 구성요소로 분해한다.
• 비평가 네트워크 아키텍처에 값 인자분해를 통합하여 MADDPG의 두 가지 새로운 변종을 설계한다.
• 정책을 공동으로 훈련하기 위해 중심화된 가치 함수를 사용하지만, 추론 시에는 로컬 관측값과 개별 정책만을 사용한다.
• 다양한 연속 제어 과제에서 성능을 평가하며, 기준선인 MADDPG와 제안된 변종 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 값 인자분해는 연속적 협동 다중 에이전트 강화학습 과제에서 성능에 어떤 영향을 미치는가?
• RQ2 연속적 MARL에서 알고리즘 혁신은 값 인자분해에 비해 어느 정도 중요한가?
• RQ3 값 인자분해 기법을 Q-학습에서 액터-크리틱 프레임워크로 효과적으로 확장할 수 있는가?
• RQ4 새로운 액터-크리틱 변종은 연속 제어 벤치마크에서 MADDPG와 비교해 어떻게 성능을 냈는가?
• RQ5 MAMuJoCo 과제에서 전체 성능에 영향을 미치는 가치 함수 분해 방식의 선택은 어떤 역할을 하는가?

주요 결과

• 연속적 협동 MAMuJoCo 과제에서, 값 인자분해가 기반 알고리즘 설계 선택보다 성능에 더 큰 영향을 미친다.
• 제안된 액터-크리틱 변종들은 MAMuJoCo의 여러 과제에서 기준선인 MADDPG를 능가한다.
• 연속 제어 환경에서, 값 인자분해는 표준 MADDPG 대비 샘플 효율성과 최종 성능을 일관되게 향상시킨다.
• 값 인자분해의 효과성은 향후 연속 MARL 연구에서 우선적으로 고려되어야 한다는 것을 시사한다.
• 결과는 이러한 과제에서 가치 함수 분해가 정책 네트워크 아키텍처나 학습 알고리즘 선택보다 더 중요한 역할을 한다는 것을 나타낸다.
• MAMuJoCo는 연속적 협동 MARL 방법 평가를 위한 유효하고 효과적인 벤치마크로 기능한다.