[논문 리뷰] Deep Reinforcement Learning for Swarm Systems

Maximilian Hüttenrauch, Adrian Šošić외 1명|arXiv (Cornell University)|2018. 07. 17.

Insect Pheromone Research and Control인용 수 153

한 줄 요약

본 논문은 딥 MARL에서 스웜 이웃 정보를 표현하기 위한 mean embedding을 제시하여 순열 불변하고 확장 가능한 정책을 가능하게 하며, TRPO를 사용해 rendezvous 및 pursuit-evasion 태스크에서 평가한다.

ABSTRACT

Recently, deep reinforcement learning (RL) methods have been applied successfully to multi-agent scenarios. Typically, these methods rely on a concatenation of agent states to represent the information content required for decentralized decision making. However, concatenation scales poorly to swarm systems with a large number of homogeneous agents as it does not exploit the fundamental properties inherent to these systems: (i) the agents in the swarm are interchangeable and (ii) the exact number of agents in the swarm is irrelevant. Therefore, we propose a new state representation for deep multi-agent RL based on mean embeddings of distributions. We treat the agents as samples of a distribution and use the empirical mean embedding as input for a decentralized policy. We define different feature spaces of the mean embedding using histograms, radial basis functions and a neural network learned end-to-end. We evaluate the representation on two well known problems from the swarm literature (rendezvous and pursuit evasion), in a globally and locally observable setup. For the local setup we furthermore introduce simple communication protocols. Of all approaches, the mean embedding representation using neural network features enables the richest information exchange between neighboring agents facilitating the development of more complex collective strategies.

연구 동기 및 목표

• 스웜 MARL에서 고차원이면서 가변 크기의 관측 문제를 다룬다.
• 이웃 정보를 인코딩하기 위한 mean embedding 기반 상태 표현을 제안한다.
• mean embedding을 위한 신경망, 히스토그램, RBF 특징 공간을 평가한다.
• 스웜 환경에서 TRPO를 이용한 중앙집중 학습/분산 실행 학습을 시연한다.

제안 방법

• 동질적이고 부분 관찰 가능한 행위자들로 스웜 에이전트를 구성하고 공유 정책을 갖춘다.
• 이웃 관측을 분포의 샘플로 표현하고 정책에 대한 입력으로 mean embedding을 계산한다.
• mean embedding의 특징 공간으로 신경망, 히스토그램, 방사형 기저 함수(RBF)를 탐구한다.
• 전역 및 지역 관찰 가능 시나리오에서 mean embedding을 연결(concatenation) 및 풀링 기반 접근과 비교한다.
• 정책 학습에 TRPO를 사용하고 중앙 집중 학습/분산 실행으로 정책을 학습한다.
• 지역 관찰에서 관측을 보강하기 위한 간단한 통신 프로토콜을 구현한다.

실험 결과

연구 질문

• RQ1 mean embedding이 딥 MARL에서 스웜 이웃 정보를 위한 순열 불변이고 확장 가능한 표현을 제공할 수 있는가?
• RQ2 신경망, 히스토그램, RBF mean embedding이 효과적인 스웜 정책 학습에서 어떻게 비교되는가?
• RQ3 mean embedding 기반 입력이 연결(concatenation)이나 다른 풀링 방법보다 학습 속도와 정책 품질을 개선하는가?
• RQ4 전역 관찰 가능성과 지역 관찰 가능성이 학습된 스웜 행동 및 성능에 어떤 영향을 미치는가?
• RQ5 지역 관찰에서의 통신 프로토콜이 정책 성능에 어떤 영향을 미치는가?

주요 결과

• Mean embedding이 신경망 특징을 갖출 때 이웃 에이전트 간의 가장 풍부한 정보 교환을 가능하게 한다.
• Mean embeddings는 스웜 태스크에서 기준선 대비 학습 속도와 정책 품질을 높인다.
• 신경망 임베딩은 입력 차원을 늘리지 않으면서 더 정보적인 관측을 포함시킬 수 있다.
• 히스토그램 및 RBF 임베딩은 차원 증가 문제에 직면하고 이웃 정보를 흐리게 하거나 이산화할 수 있다.
• 지역 관찰 가능 설정에서 성능을 개선하기 위해 mean-embedding 입력을 보강하는 지역 통신 프로토콜이 도움이 된다.