[論文レビュー] Deep Reinforcement Learning for Swarm Systems

Maximilian Hüttenrauch, Adrian Šošić+1 more|arXiv (Cornell University)|Jul 17, 2018

Insect Pheromone Research and Control被引用数 153

ひとこと要約

本論文は、深層MARLにおける群れの近傍情報を表現するための平均埋め込み（mean embeddings）を導入し、置換不変かつスケーラブルなポリシーを実現します。TRPOを用いて、ランデブーと追跡-回避タスクで評価しています。

ABSTRACT

Recently, deep reinforcement learning (RL) methods have been applied successfully to multi-agent scenarios. Typically, these methods rely on a concatenation of agent states to represent the information content required for decentralized decision making. However, concatenation scales poorly to swarm systems with a large number of homogeneous agents as it does not exploit the fundamental properties inherent to these systems: (i) the agents in the swarm are interchangeable and (ii) the exact number of agents in the swarm is irrelevant. Therefore, we propose a new state representation for deep multi-agent RL based on mean embeddings of distributions. We treat the agents as samples of a distribution and use the empirical mean embedding as input for a decentralized policy. We define different feature spaces of the mean embedding using histograms, radial basis functions and a neural network learned end-to-end. We evaluate the representation on two well known problems from the swarm literature (rendezvous and pursuit evasion), in a globally and locally observable setup. For the local setup we furthermore introduce simple communication protocols. Of all approaches, the mean embedding representation using neural network features enables the richest information exchange between neighboring agents facilitating the development of more complex collective strategies.

研究の動機と目的

• 群れMARLにおける高次元・可変サイズ観測の課題に対処する。
• 近傍情報を符号化するための平均埋め込みベースの状態表現を提案する。
• 平均埋め込みの特徴空間としてニューラルネットワーク、ヒストグラム、および放射状基底関数（RBF）を評価する。
• 群れ設定において中央化学習/分散実行でTRPOを用いた学習を実証する。

提案手法

• 群れのエージェントを共有ポリシーを持つ同質で部分観測可能なアクターとしてモデル化する。
• 近傍の観測を分布からのサンプルとして表現し、平均埋め込みをポリシーへの入力として計算する。
• 平均埋め込みの特徴空間として、ニューラルネットワーク、ヒストグラム、RBFを探索する。
• グローバル観測とローカル観測のシナリオで、平均埋め込みを連結やプーリングベースの手法と比較する。
• ポリシーの訓練には中央化学習と分散実行を組み合わせたTRPOを使用する。
• ローカル観測可能性で観測を拡張する簡易な通信プロトコルを実装する。

実験結果

リサーチクエスチョン

• RQ1 平均埋め込みは深層MARLにおいて群れの近傍情報を置換不変かつスケーラブルに表現できるか。
• RQ2 ニューラルネットワーク、ヒストグラム、RBFの平均埋め込みは、効果的な群れポリシーの学習にどのように寄与するか。
• RQ3 平均埋め込みベースの入力は、連結や他のプーリング手法より学習速度とポリシー品質を向上させるか。
• RQ4 グローバル観測とローカル観測が学習される群れの挙動と性能にどのような影響を与えるか。
• RQ5 ローカル観測可能性における通信プロトコルはポリシー性能にどのような影響を与えるか。

主な発見

• ニューラルネットワーク特徴を用いた平均埋め込みは、近傍エージェント間の情報交換として最も豊かな表現を提供する。
• 平均埋め込みは、群れタスクにおいてベースラインよりも学習を速め、ポリシー品質を高める。
• ニューラルネットワークの埋め込みは、入力次元を増やすことなくより情報量の多い観測を組み込むことができる。
• ヒストグラムとRBFの埋め込みは高次元性の課題に直面し、近傍情報をぼかすまたは離散化する可能性がある。
• ローカル観測可能性の設定では、平均埋め込み入力を補強する通信プロトコルが性能を向上させる。