[論文レビュー] Stigmergic Independent Reinforcement Learning for Multi-Agent Collaboration

Xing Xu, Rongpeng Li+2 more|arXiv (Cornell University)|Nov 28, 2019

Reinforcement Learning in Robotics参考文献 50被引用数 4

ひとこと要約

本稿では、間接的通信としてのステイグメルジー（デジタルフェロモンを用いる）と、優先順位ベースの行動選択ネットワークによる衝突回避機構を組み合わせた分散型マルチエージェント強化学習フレームワーク、Stigmergic Independent Reinforcement Learning (SIRL) を提案する。この手法により、特にリング構造のような複雑な配置においても、収束速度と最終類似度の両面でベースライン手法を上回る高い効率性とスケーラビリティを実現し、目的形状の共同形成が可能となる。

ABSTRACT

With the rapid evolution of wireless mobile devices, there emerges an increased need to design effective collaboration mechanisms between intelligent agents, so as to gradually approach the final collective objective through continuously learning from the environment based on their individual observations. In this regard, independent reinforcement learning (IRL) is often deployed in multi-agent collaboration to alleviate the problem of a non-stationary learning environment. However, behavioral strategies of intelligent agents in IRL can only be formulated upon their local individual observations of the global environment, and appropriate communication mechanisms must be introduced to reduce their behavioral localities. In this paper, we address the problem of communication between intelligent agents in IRL by jointly adopting mechanisms with two different scales. For the large scale, we introduce the stigmergy mechanism as an indirect communication bridge between independent learning agents, and carefully design a mathematical method to indicate the impact of digital pheromone. For the small scale, we propose a conflict-avoidance mechanism between adjacent agents by implementing an additionally embedded neural network to provide more opportunities for participants with higher action priorities. In addition, we present a federal training method to effectively optimize the neural network of each agent in a decentralized manner. Finally, we establish a simulation scenario in which a number of mobile agents in a certain area move automatically to form a specified target shape. Extensive simulations demonstrate the effectiveness of our proposed method.

研究の動機と目的

• 独立的マルチエージェント強化学習（IRL）における非定常学習と行動的局所性の課題に取り組むこと。
• 直接通信に依存するのを減らすために、環境を介した間接的通信メカニズムとしてステイグメルジーを導入すること。
• ニューラルネットワークベースの評価モジュールを用いて高潜在的行動を優先する衝突回避機構を通じて、エージェント間の協調性を向上させること。
• 個々のエージェントのフェデレーテッドトレーニングを可能にしつつ、効果的なエージェント間協調を維持すること。
• 集団的形状形成のような複雑でスケーラブルなマルチエージェントタスクにおいて、提案手法の有効性を示すこと。

提案手法

• エージェントが環境にデジタルフェロモンを放出し、それに対して反応するステイグメルジー機構を導入し、フェロモン濃度が行動選択に与える影響を数学的にモデル化する。
• 別個のニューラルネットワークを用いて行動優先度を評価し、隣接エージェント間の衝突を低減する衝突回避機構を採用する。
• 各エージェントが自身のポリシーを独立して最適化できるフェデレーショントレーニング手法を設計し、共有される環境信号を通じて協調性を維持する。
• 各エージェントが自らの観測と環境内のステイグメルジー信号に基づいて学習する分散型学習フレームワークを採用する。
• タスク完了時にのみグローバルフィードバックが得られるように、目標形状への集団的行動を促進する報酬形状戦略を適用する。
• 局所的衝突回避の範囲を制御できる調整可能な協調チャネルを実装し、応答性と協調性のトレードオフを可能にする。

実験結果

リサーチクエスチョン

• RQ1 直接通信なしに、ステイグメルジーを深層強化学習におけるマルチエージェント協調に効果的にモデル化・統合できるか？
• RQ2 行動優先度に基づく局所的衝突回避機構は、分散型マルチエージェントシステムにおける協調性をどのように向上させるか？
• RQ3 提案されたフェデレーテッドトレーニング手法は、独立学習と分散最適化を可能にしつつ、性能をどの程度維持できるか？
• RQ4 ステイグメルジーと衝突回避の組み合わせは、既存のIRLベースラインに比べて形状形成タスクでどの程度優れているか？
• RQ5 協調チャネルの範囲が、マルチエージェント形状形成における収束速度と最終タスクパフォーマンスに与える影響は何か？

主な発見

• SIRL は、エージェント位置と目標形状を完全に把握しているオラクルベースラインと同等の最終類似度を達成しており、高いタスク効率性を示している。
• 衝突回避機構により、特に密度が高く複雑な配置（例：リング形状の目標）において収束速度と最終パフォーマンスが顕著に向上している。
• SIRL-A（協調チャネルを最近隣接エージェントに限定、範囲1）は、SIRL とほぼ同等のパフォーマンスを達成しており、局所的協調が十分に効果的であることを示している。
• SIRL-WS（衝突回避を無効化）は初期段階での成長が速いが、最終的な類似度が低くなるため、高性能を達成するにはこの機構が不可欠であることが証明された。
• SIRL における収束までの総ステップ数はオラクル手法と同等であり、リアルタイムタスク実行における強力なスケーラビリティと効率性を示している。