[論文レビュー] Inverse Reinforcement Learning in Swarm Systems

Adrian Šošić, Wasiur R. KhudaBukhsh+2 more|arXiv (Cornell University)|May 8, 2017

Reinforcement Learning in Robotics参考文献 34被引用数 29

ひとこと要約

本稿では、均質的で大規模なスワームシステムにおける逆強化学習のための新規フレームワークである swarMDP を導入する。このフレームワークは、エージェントの価値関数における対称性を活用することで、マルチエージェント IRL を単一エージェント問題に還元する。また、局所的な報酬モデルを回復させることで、2つのテストシステムにおける観察されたグローバルなスワームダイナミクスの正確な再現を可能にする非均質な学習スキームを提案する。

ABSTRACT

Inverse reinforcement learning (IRL) has become a useful tool for learning behavioral models from demonstration data. However, IRL remains mostly unexplored for multi-agent systems. In this paper, we show how the principle of IRL can be extended to homogeneous large-scale problems, inspired by the collective swarming behavior of natural systems. In particular, we make the following contributions to the field: 1) We introduce the swarMDP framework, a sub-class of decentralized partially observable Markov decision processes endowed with a swarm characterization. 2) Exploiting the inherent homogeneity of this framework, we reduce the resulting multi-agent IRL problem to a single-agent one by proving that the agent-specific value functions in this model coincide. 3) To solve the corresponding control problem, we propose a novel heterogeneous learning scheme that is particularly tailored to the swarm setting. Results on two example systems demonstrate that our framework is able to produce meaningful local reward models from which we can replicate the observed global system dynamics.

研究の動機と目的

• マルチエージェントおよびスワームシステムにおける逆強化学習（IRL）の応用が不足しているという問題に対処すること。
• スワーム固有の特性を有する分散型部分的に観測可能なマルコフ決定過程（MDP）のサブクラスを形式化すること。
• 大規模スワームにおけるエージェントの同質性を活用して、マルチエージェント IRL 問題を単一エージェント問題に還元すること。
• グローバルなデモンストレーションから局所的報酬関数を回復できるように、スワームダイナミクスに特化した学習スキームを設計すること。
• 学習された局所的報酬に基づいて、観察されたグローバルシステム行動を再現できるかどうかをフレームワークの能力として検証すること。

提案手法

• 均質的マルチエージェントシステムを対象とした、明確に定義されたスワーム特性を有する分散型POMDPのサブクラスである swarMDP を提案する。
• 同質性の下で、swarMDP におけるエージェント固有の価値関数が同一であることを証明し、マルチエージェント IRL を単一エージェント IRL に還元可能であることを示す。
• スワーム設定に特化した非均質な学習スキームを考案し、デモンストレーションデータからの効率的なポリシー学習を可能にする。
• デモンストレーションデータを用いて、最適化された際に観察されたグローバルシステムダイナミクスを再現する局所的報酬関数を推定する。
• フレームワークを2つの例示的システムに適用し、意味のある局所的報酬関数の回復と、正確なグローバル行動再現の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 集団的行動を示す大規模で均質的なマルチエージェントシステムに、逆強化学習を効果的に拡張できるか？
• RQ2 スワームシステムの対称性と同質性をどの程度活用して、マルチエージェント IRL 問題を単一エージェント問題に還元できるか？
• RQ3 特化した学習スキームにより、観察されたグローバルなスワームダイナミクスを正確に再現できる局所的報酬関数を回復できるか？
• RQ4 提案されたフレームワークは、現実世界にインspiredされたスワームシステムにおいて、局所的報酬モデルから複雑なグローバル行動をどの程度正確に再現できるか？

主な発見

• 同質性の下でエージェント固有の価値関数が同一であることを証明したことで、マルチエージェント IRL 問題が単一エージェント問題に還元された。
• 提案された非均質な学習スキームにより、グローバルなデモンストレーションから局所的報酬推定に焦点を当てた、スワームシステムにおける効果的なポリシー学習が可能となった。
• 両方の例示的システムにおいて、学習された局所的報酬モデルが、観察されたグローバルダイナミクスを高い忠実度で再現できた。
• 結果として、大規模で分散型の環境においても、デモンストレーションデータから意味のある局所的報酬関数を回復できることが示された。