[論文レビュー] Learning to Gather without Communication

El Mahdi El Mhamdi, Rachid Guerraoui+2 more|arXiv (Cornell University)|Feb 21, 2018

Reinforcement Learning in Robotics参考文献 39被引用数 3

ひとこと要約

本論文は、分散強化学習を用いて通信なしで集団が集まるのを学習できるという、最初の実験的証明を提示する。1次元の環状配置のエージェントは、状態近似を用いたQ学習により、最適な集団集約行動を学習し、高速で堅牢かつスケーラブルな収束を達成する。最大90%のエージェント喪失にも耐えうる。同じ周囲制約下で、決定的アルゴリズムを上回るか同等の性能を発揮する。

ABSTRACT

A standard belief on emerging collective behavior is that it emerges from simple individual rules. Most of the mathematical research on such collective behavior starts from imperative individual rules, like always go to the center. But how could an (optimal) individual rule emerge during a short period within the group lifetime, especially if communication is not available. We argue that such rules can actually emerge in a group in a short span of time via collective (multi-agent) reinforcement learning, i.e learning via rewards and punishments. We consider the gathering problem: several agents (social animals, swarming robots...) must gather around a same position, which is not determined in advance. They must do so without communication on their planned decision, just by looking at the position of other agents. We present the first experimental evidence that a gathering behavior can be learned without communication in a partially observable environment. The learned behavior has the same properties as a self-stabilizing distributed algorithm, as processes can gather from any initial state (and thus tolerate any transient failure). Besides, we show that it is possible to tolerate the brutal loss of up to 90\% of agents without significant impact on the behavior.

研究の動機と目的

• エージェントが強化学習を用いて通信なしで分散的に集団行動を学習できるかどうかを調査すること。
• 複数エージェントに起因する状態空間の爆発的増大に対しても効果を保つスケーラブルな学習フレームワークを設計すること。
• 高いエージェント喪失（最大90％）下でも、学習された行動の堅牢性を評価すること。
• 同じ感知制約下で、学習された行動と制約付き決定的アルゴリズム（Q-deterministic）の性能を比較すること。
• 再訓練なしに、異なるエージェント数（例：10から100）にわたって学習済みポリシーの転送が可能かどうかを示すこと。

提案手法

• エージェントは、集団の結束に対する報酬と孤立に対するペナルティに基づき、報酬に応じて最適な行動を学習するQ学習と、有効な履歴トレースを用いる。
• 状態近似技術により、近接するエージェントをクラスタにグループ化し、有効な状態空間を縮小することで、エージェント数とは独立したスケーラビリティを実現する。
• 各エージェントは、離散的なセクター内での他のエージェントの相対的位置のみを認識し、限られた感覚的認識を模倣する。
• 行動空間は離散化されており、エージェントは学習されたQ値に基づいて移動行動（例：左、右、停止）を選択する。
• 学習プロセスは完全に分散化されている：エージェント間の中央集権的調整や通信は一切行われない。
• 公平な比較のため、Q-deterministicベースラインは、同じ感知制約下で既知の決定的重心アルゴリズムの軌道に沿ってQ値を計算することで作成される。

実験結果

リサーチクエスチョン

• RQ1 局所的な報酬と罰則のみを用いて、通信なしでエージェントが集団行動を学習できるか？
• RQ2 再訓練なしに、著しく大きなグループ（例：100エージェント）にスケーリングした場合でも、学習されたポリシーが性能と安定性を維持できるか？
• RQ3 同じ感知および行動制約下で、学習された行動と決定的アルゴリズムの性能はどのように比較できるか？
• RQ4 最大90％のエージェント喪失といった深刻な障害にも、学習された行動がどれほど耐性を示せるか？
• RQ5 例えばクラスタリングのような感知近似は、高次元または大規模なマルチエージェントシステムにおいて、学習効率と正確性を保持できるか？

主な発見

• エージェントは13ノードの環状構造上で、初期位置がランダムな状態から平均5ステップで集団行動を学習し、その後も高い結束を維持した。
• 学習済みポリシーは再訓練なしに100エージェントにも直接一般化され、平均集約時間は10ステップ、最悪ケースでも50ステップ未満を達成した。
• Q-deterministicベースラインよりも優れた性能を示した：平均最大周囲エージェント数は87％（対80％）、平均最小周囲エージェント数は40％（対28％）を記録した。
• システムは強力な故障耐性を示し、最大90％のエージェント喪失後でも、効果的な集団行動を維持した。
• 学習された行動の集約時間の標準偏差は5.1とやや高かったが、Q-deterministicアルゴリズムの4.9よりは低くなく、主要指標では同等または優れた性能を示した。
• クラスタベースの感知近似の導入により、学習空間サイズが一定に保たれ、エージェント数や環のサイズとは独立したスケーラビリティが実現された。