[論文レビュー] Mean Field Games Flock! The Reinforcement Learning Way

Sarah Perrin, Mathieu Laurière+4 more|arXiv (Cornell University)|May 17, 2021

Reinforcement Learning in Robotics参考文献 2被引用数 8

ひとこと要約

本稿では、架空のプレイ、正規化フロー、ソフトアクターシステムを組み合わせた深層強化学習手法Flock'n RLを提案する。この手法は、大規模な集団における複雑なトポロジーと障害物を伴う高次元の平均場ゲームを解くことを目的としている。分散型のコンセンサスを実現し、最小限の構造的仮定のもとで6次元状態空間ですら安定したフロック行動を達成する。

ABSTRACT

We present a method enabling a large number of agents to learn how to flock, which is a natural behavior observed in large populations of animals. This problem has drawn a lot of interest but requires many structural assumptions and is tractable only in small dimensions. We phrase this problem as a Mean Field Game (MFG), where each individual chooses its acceleration depending on the population behavior. Combining Deep Reinforcement Learning (RL) and Normalizing Flows (NF), we obtain a tractable solution requiring only very weak assumptions. Our algorithm finds a Nash Equilibrium and the agents adapt their velocity to match the neighboring flock's average one. We use Fictitious Play and alternate: (1) computing an approximate best response with Deep RL, and (2) estimating the next population distribution with NF. We show numerically that our algorithm learn multi-group or high-dimensional flocking with obstacles.

研究の動機と目的

• 大規模な集団において、最小限の構造的仮定のもとでスケーラブルで分散型のフロック行動を実現する課題に対処すること。
• 高次元または複雑なトポロジーを持つ状態空間において、従来の平均場ゲームソルバーの計算的非実行可能性を克服すること。
• 環境のダイナミクスの完全な知識が不要なモデルフリーな強化学習アプローチを開発し、マルチエージェントフロック行動におけるナッシュ均衡を学習すること。
• 古典的PDEベースの手法が失敗する高次元設定において、マルチグループフロック行動と障害物回避を実現すること。
• 地面真値の均衡が存在しない状況において、近似の裏付け可能性とパフォーマンス行列を用いて解の質を評価すること。

提案手法

• フロック行動問題を、各エージェントの報酬が集団の状態と速度の経験的分布に依存する平均場ゲームとして定式化する。
• 架空のプレイを採用：深層強化学習（ソフトアクターシステム）を用いた近似的な最良応答の計算と、正規化フローを用いた次回の集団分布の推定を交互に実行する。
• 正規化フローを用いて、高次元状態空間における変化する集団分布を効率的に表現・更新する。
• 報酬関数には、近隣エージェントの速度の重み付き平均に基づく速度同期項を含み、距離への感受性を制御するパrameter β を用いる。
• システムのダイナミクスの明示的知識が不要で、環境との相互作用のみを前提としたモデルフリーな学習を実施する。
• 障害物の処理を拡張するため、報酬関数に衝突ペナルティと跳ね返りメカニズムを組み込む。

実験結果

リサーチクエスチョン

• RQ1 従来のPDEベースのMFGソルバーが失敗する高次元状態空間において、深層強化学習アプローチが安定した分散型フロック行動を達成できるか？
• RQ2 架空のプレイを深層強化学習と正規化フローと組み合わせることで、大規模な集団と複雑なトポロジーにスケーリングできるか？
• RQ3 初期速度がランダムに設定された状況でも、異なる移動方向を持つマルチグループフロック行動をサポートできるか？
• RQ4 障害物や滑らかでない幾何構造を伴う環境において、性能と収束性がどの程度維持されるか？
• RQ5 地面真値の均衡が存在しない状況において、裏付け可能性やパフォーマンス行列といった指標を用いて解の質をどのように評価できるか？

主な発見

• Flock'n RLアルゴリズムは、6次元の高次元設定においてマルチグループフロック行動を成功裏に学習し、β=100の場合にエージェントが反対方向に移動するグループに分かれるのを確認した。
• β=0の場合、グローバルコンセンサスが一貫して達成され、アルゴリズムが報酬構造に適応し、フロック行動を維持できることを示した。
• 障害物が豊富な環境では、エージェントが複雑な経路を経由し、衝突を回避しながら安定したフロック行動を示した。
• 近似の裏付け可能性は時間経過とともに減少し、ナッシュ均衡への収束を示唆しており、障害物回避シナリオではより速い収束が観察された。
• 非滑らかな境界や障害物を含む複雑なトポロジーにも一般化可能であり、古典的PDEベースのMFGソルバーが処理できない領域をカバーした。
• 異なるランダムシードから異なる有効な解が得られ、複雑な環境において多様で高パフォーマンスな経路を発見できる能力を確認した。