[論文レビュー] Minimizing Communication while Maximizing Performance in Multi-Agent Reinforcement Learning

Varun Kumar Vijay, Hassam Ullah Sheikh+2 more|arXiv (Cornell University)|Jun 15, 2021

Ferroelectric and Negative Capacitance Devices被引用数 4

ひとこと要約

本稿では、協働タスクにおける高いパフォーマンスを維持しつつ通信オーバーヘッドを最小化するマルチエージェント強化学習フレームワークを提案する。カリキュラム学習と通信ペナルティを用いて、タスク固有のスパarsな通信ポリシーを学習することで、4つの環境（秘密共有、捕食者・獲物探索、動的ナビゲーションタスクを含む）において、メッセージ頻度を著しく削減しながらもほぼ最適なパフォーマンスを達成した。

ABSTRACT

Inter-agent communication can significantly increase performance in multi-agent tasks that require co-ordination to achieve a shared goal. Prior work has shown that it is possible to learn inter-agent communication protocols using multi-agent reinforcement learning and message-passing network architectures. However, these models use an unconstrained broadcast communication model, in which an agent communicates with all other agents at every step, even when the task does not require it. In real-world applications, where communication may be limited by system constraints like bandwidth, power and network capacity, one might need to reduce the number of messages that are sent. In this work, we explore a simple method of minimizing communication while maximizing performance in multi-task learning: simultaneously optimizing a task-specific objective and a communication penalty. We show that the objectives can be optimized using Reinforce and the Gumbel-Softmax reparameterization. We introduce two techniques to stabilize training: 50% training and message forwarding. Training with the communication penalty on only 50% of the episodes prevents our models from turning off their outgoing messages. Second, repeating messages received previously helps models retain information, and further improves performance. With these techniques, we show that we can reduce communication by 75% with no loss of performance.

研究の動機と目的

• マルチエージェント強化学習における通信オーバーヘッドを、タスクパフォーマンスに影響を与えることなく低減すること。
• エージェントが強化学習により、自動的に効率的でスパarsな通信プロトコルを学習できるかを調査すること。
• 通信ペナルティとカリキュラムトレーニングが、エージェントが最適な通信パターンを発見するのをどの程度効果的に支援するかを評価すること。
• 異なる通信戦略を要する多様な協働タスクにわたる一般化能力をテストすること。

提案手法

• エージェントは、通信行動空間に「通信なし」オプションを含む独立したディープQネットワーク（DQN）を用いて訓練される。
• 不要なメッセージ送信を回避するため、訓練中に通信ペナルティが適用され、パフォーマンスと通信コストのバランスを最適化するようにハイパーパrameterが調整される。
• 段階的タスク難易度の上昇を実現するカリキュラム学習を用いて、エージェントが通信ポリシーをより効果的に学習できるようにする。
• フレームワークは、4つの環境（Secret, Predator-Prey, Secret Pairs, Dynamic Cooperative Navigation）で評価され、それぞれが異なる通信戦略を要する。
• パフォーマンスは、タスク固有の指標で測定される：Predator-Preyでは成功確率、SecretおよびSecret Pairsでは累積報酬、Dynamic Cooperative Navigationではナビゲーション成功確率。
• 通信ペナルティの最適な設定を見つけるためにハイパーパrameterチューニングが実施される。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント強化学習エージェントは、協働環境において通信を最小限に抑えつつも高いタスクパフォーマンスを維持できるか？
• RQ2 通信ペナルティとカリキュラム学習は、エージェントがスパarsでタスク固有の通信プロトコルを発見するのをどの程度効果的に支援するか？
• RQ3 通信のタイミングや相手を事前に指定せずに、エージェントが最適な通信パターンを自律的に学習できる程度はどの程度か？
• RQ4 異なる種類の協働タスクにおいて、通信効率とパフォーマンスのトレードオフはどのように変化するか？

主な発見

• エージェントは必要最小限の通信のみを実行し、Secret環境ではメッセージ頻度を著しく削減しながらもほぼ最大パフォーマンスを達成した。
• Predator-Prey環境では、全エージェントが獲物のセルを同時に占拠するという成功定義のもと、適応的なメッセージタイミングにより通信を最小限に抑えながらも高い成功確率を達成した。
• Secret Pairsでは、1つの秘密変更に対して1回のメッセージ送信を学習し、最小限の通信で正確な協調を維持した。これにより、効果的なペアワイズ通信学習が実証された。
• カリキュラム学習と通信ペナルティの併用により、エージェントは環境間で一般化し、安定的かつ低通信のポリシーを達成した。
• さまざまな通信ペナルティの下でもパフォーマンスが高く維持されたことから、学習された通信戦略のロバスト性と適応性が示された。
• ベースライン手法と比較して、通信頻度が最大70％削減されたが、顕著なパフォーマンス低下は認められなかった。