[論文レビュー] Low-Bandwidth Communication Emerges Naturally in Multi-Agent Learning Systems

Niko A. Grupen, Daniel D. Lee+1 more|arXiv (Cornell University)|Nov 30, 2020

Evolutionary Game Theory and Cooperation参考文献 38被引用数 4

ひとこと要約

この論文は、協働的追跡回避タスクにおけるマルチエージェント強化学習（MARL）システムにおいて、通信帯域幅が低い連携行動——たとえば動きのルールによる暗黙の調整——が自然に生じることを示している。ポテンシャル場に基づく捕食者戦略とMARLアルゴリズムを用いて、著者らは、明示的な言語や高帯域幅のシグナリングがなくても、効率的で低複雑性の連携戦略——動物の餌集め行動に類似——をエージェントが開発することを示している。

ABSTRACT

In this work, we study emergent communication through the lens of cooperative multi-agent behavior in nature. Using insights from animal communication, we propose a spectrum from low-bandwidth (e.g. pheromone trails) to high-bandwidth (e.g. compositional language) communication that is based on the cognitive, perceptual, and behavioral capabilities of social agents. Through a series of experiments with pursuit-evasion games, we identify multi-agent reinforcement learning algorithms as a computational model for the low-bandwidth end of the communication spectrum.

研究の動機と目的

• 動物の通信から得られる知見を通じて、低帯域幅通信がマルチエージェントシステムでどのように生じるかを理解すること。
• マルチエージェント強化学習（MARL）アルゴリズムが、出現的で低複雑性の通信戦略を生み出すかどうかを調査すること。
• 自然界における通信のスケール——フェロモンの道から音声信号まで——を計算的強化学習フレームワーク内でモデル化すること。
• MARLエージェントが、ワニの群れやイルカの群れで観察されるような、自然の低帯域幅相互作用ルールに類似した連携メカニズムを開発するかどうかを評価すること。
• 高レベルの連携が、明示的な言語や記号的表現に依存せず、センサーモーターフィードバックと報酬最大化に依存して生じることを示すこと。

提案手法

• 本研究では、複数の捕食者と1匹の獲物を有するトーラス型グリッド環境上での追跡回避ゲームを用いる。
• 捕食者は、獲物および捕食者の位置に基づいて最適な追跡方向を計算するポテンシャル場ベースの戦略を用いる。コスト関数には距離と角度の整合性を組み込む。
• 周期的境界条件を扱うために、トーラスの展開コピーを用いてポテンシャル場関数の最適化を実施し、捕食者配置の離散的探索を可能にする。
• ポテンシャル場関数を最大化する「アクティブな」捕食者の集合が選択され、動的で対称的な追跡フォーメーションが形成される。
• MARLエージェントは、報酬最大化を目的としてポリシー勾配法を用いて協調学習を行い、獲物を捕らえるまでの時間を最小化する。
• 勾配に基づく更新ルールが導入され、ポテンシャル場の負の勾配に従って捕食者の進行方向が調整され、対称的で安定したフォーメーションが促進される。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント強化学習システムが、明示的な設計なしに、自然に低帯域幅通信戦略を発展させることができるか？
• RQ2 MARLエージェントは、ワニやイルカに見られるような、既知の動物の餌集めおよび群れ形成行動をどの程度再現できるか？
• RQ3 物理的および環境的制約（例：限られたセンシング、離散的アクション空間）は、協働エージェントにおける通信の出現にどのように影響するか？
• RQ4 MARLシステムに記号的・構文的言語が存在しない場合でも、効果的で協調的な行動が達成可能か？
• RQ5 報酬最大化のプロセスにおいて、部分的に観測可能な環境で、非言語的で暗黙の連携メカニズム（例：相互作用ルール）が出現するか？

主な発見

• 追跡回避タスクにおけるMARLシステムでは、対称的追跡フォーメーションや反応的な位置調整といった、低帯域幅通信戦略が自然に出現する。
• 捕食者は、一時的に獲物から離脱して再配置する際でさえ、グループの結束を維持し、解体を避けるように行動を調整する。
• ポテンシャル場ベースの戦略は、実際に狼やイルカで観察されるような、安定した対称的フォーメーションを効果的に生成する。
• 学習された行動は、協同的包囲と動的再配置を含む、文書化された動物の餌集め戦略と定性的に類似している。
• 明示的な言語や記号的通信が存在しない場合でも、エージェントは暗黙的で低帯域幅の相互作用ルールにより、効果的な連携を達成し、高い捕獲率を達成する。
• 本手法は小規模なエージェント数（N ≤ 3）および小規模な展開係数（k = 1）において、出現的連携のモデル化に実行可能であると示され、スケーラビリティが確認された。