[論文レビュー] Guided Deep Reinforcement Learning for Swarm Systems

Maximilian Hüttenrauch, Adrian Šošić+1 more|arXiv (Cornell University)|Sep 18, 2017

Reinforcement Learning in Robotics参考文献 6被引用数 100

ひとこと要約

この論文は、グローバル状態にアクセスできる集中型の critic を用いて、同質な群ロボットのエージェントを協調的に学習させる actor-critic フレームワークを提案する。一方で各エージェントは局所観測で行動し、協調タスクとしてグラフ構築とターゲット定位のような協調タスクをシミュレーションの群で実現する。

ABSTRACT

In this paper, we investigate how to learn to control a group of cooperative agents with limited sensing capabilities such as robot swarms. The agents have only very basic sensor capabilities, yet in a group they can accomplish sophisticated tasks, such as distributed assembly or search and rescue tasks. Learning a policy for a group of agents is difficult due to distributed partial observability of the state. Here, we follow a guided approach where a critic has central access to the global state during learning, which simplifies the policy evaluation problem from a reinforcement learning point of view. For example, we can get the positions of all robots of the swarm using a camera image of a scene. This camera image is only available to the critic and not to the control policies of the robots. We follow an actor-critic approach, where the actors base their decisions only on locally sensed information. In contrast, the critic is learned based on the true global state. Our algorithm uses deep reinforcement learning to approximate both the Q-function and the policy. The performance of the algorithm is evaluated on two tasks with simple simulated 2D agents: 1) finding and maintaining a certain distance to each others and 2) locating a target.

研究の動機と目的

• 感知能力が制限された群に対する協調ポリシーの学習を扱う
• 学習時に全状態を持つ集中型 critic を活用しながら、アクターは局所的に観測される情報のみで行動する
• 同質エージェントを対象としたエンドツーエンドの深層強化学習を、二つの群タスクで実証する
• 群サイズの変化によるスケーラビリティを評価し、ガイド付き学習と非ガイド付き学習を比較する

提案手法

• グローバル状態に基づく結合行動を評価する集中型のガイド付き critic を用いた Actor-Critic フレームワークを採用する
• アクターはグローバル状態ではなく、局所観測履歴に基づくポリシーを実行する
• 局所観測で行動するエージェントとともに、Q関数を学習するためにグローバルな群状態をコンパクトなベクトルで表現する
• 群を、 histories H 上で単一のポリシー μ を共有する同質エージェントを持つ swarm MDP としてモデル化する
• 異なる隣接数に対応するため、ヒストグラムベースの固定サイズ観察表現を組み込む
• DDPG/DRL の実践に倣い、経験再生と遅延ターゲットネットワークを用いて訓練する
• Kilobot に触発された二つのシミュレーションタスクを提供: グラフ構築（エッジ数を最大化するよう距離を維持）とターゲット定位（協調的探索）
• 分散局所アクターに対して決定論的ポリシー勾配を採用し、全エージェントの μ(h^i) からの結合行動を用いた集中型 critic の更新を行う

実験結果

リサーチクエスチョン

• RQ1 ガイド付き学習で集中型 critic が部分観測下の群システムに対して効果的なポリシーを生み出せるか？
• RQ2 訓練と評価の段階でエージェント数とともにポリシー性能はどうスケールするか？
• RQ3 群タスクにおいてガイド付き学習は必要か、それとも非ガイド付きの結合履歴 Q 学習で成功するのか？
• RQ4 学習結果に対する通信・観察モデルの選択（ヒストグラム入力）の影響は？
• RQ5 学習されたポリシーはタスク間（グラフ構築 vs 定位）およびエージェント数でどう比較されるか？

主な発見

• 2–8 エージェントでの分散ポリシーの学習に成功し、タスクのいずれも達成されたが、エージェント数が増えるほど難しくなる
• ガイド付き critic で学習したポリシーは、結合履歴 Q 学習が失敗したエッジ（グラフ）タスクで非ガイド手法を上回る
• 定位タスクでは、エージェント間通信を含むポリシーが、通信なしよりもエージェント数が増えるにつれて優れる
• 学習された戦略は多様で、少数エージェントでは円運動の小グループ、より多いエージェントでは大規模集団の形成
• 高次元の感覚入力から行動まで、手作り特徴なしでエンドツーエンド学習を実現する点を示す