[論文レビュー] Learning Agent Communication under Limited Bandwidth by Message Pruning

Hangyu Mao, Zhengchao Zhang+3 more|arXiv (Cornell University)|Dec 3, 2019

Reinforcement Learning in Robotics参考文献 25被引用数 10

ひとこと要約

本論文は、帯域制限下でのマルチエージェント強化学習における冗長なメッセージを適応的に pruning するゲーミング機構を提案する。新たな補助タスクを用いて有益なメッセージを特定する。この手法は、性能を維持または向上させつつ、通信量を最大87%まで削減できる。また、ACML、CommNet、AMP などの複数の既存のDRLフレームワークと互換性がある。

ABSTRACT

Communication is a crucial factor for the big multi-agent world to stay organized and productive. Recently, Deep Reinforcement Learning (DRL) has been applied to learn the communication strategy and the control policy for multiple agents. However, the practical \emph{ extbf{limited bandwidth}} in multi-agent communication has been largely ignored by the existing DRL methods. Specifically, many methods keep sending messages incessantly, which consumes too much bandwidth. As a result, they are inapplicable to multi-agent systems with limited bandwidth. To handle this problem, we propose a gating mechanism to adaptively prune less beneficial messages. We evaluate the gating mechanism on several tasks. Experiments demonstrate that it can prune a lot of messages with little impact on performance. In fact, the performance may be greatly improved by pruning redundant messages. Moreover, the proposed gating mechanism is applicable to several previous methods, equipping them the ability to address bandwidth restricted settings.

研究の動機と目的

• マルチエージェント強化学習における限られた通信帯域幅という、重要だが軽視されがちな問題に取り組む。
• チームのパフォーマンスを低下させることなくメッセージ量を削減する原理的な手法を開発する。
• チームに与える利益に基づいて、メッセージを送信するかどうかを適応的に決定するゲーミング機構を設計する。
• 既存のDRL手法と互換性を持たせ、多様なマルチエージェントシナリオにおける帯域制限に配慮した通信を可能にする。
• メッセージのpruningが、ノイズが多いか役に立たないメッセージを除去することでパフォーマンスを向上させることを実証する。

提案手法

• CommNet や AMP などの先行研究のキーコンポーネントを統合したベースモデル「エージェント・クリティカル・メッセージ・ラーナー（ACML）」を提案する。
• メッセージの有用性に基づいて通信ゲートを開閉するゲーミング機構を導入する。
• グローバルQ値の差を用いてメッセージの利益を評価する、新たな補助タスクを用いてゲーミング機構を訓練する。
• 動的および固定のしきい値を用いて、所望の帯域制限に合わせてメッセージのpruningを制御する。
• ゲートが送信前にメッセージをpruningするグローバル通信グループ構造を採用する（エージェントグループ単位ではなく）。
• Gated-ACML、Gated-CommNet、Gated-AMP など、複数の既存手法へのゲーミング機構の拡張を実施し、広範な適用性を確保する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なゲーミング機構は、帯域制限下のマルチエージェントシステムにおいて、メッセージ量を効果的に削減できるか？
• RQ2 メッセージのpruningは、ノイズが多いか冗長なメッセージを除去することで、パフォーマンスを向上または維持できるか？
• RQ3 このゲーミング機構は、異なるDRLアーキテクチャやマルチエージェントタスクに一般化可能か？
• RQ4 帯域が制限された状況下で、ゲーテッドシステムのパフォーマンスはベースライン手法と比べてどうなるか？
• RQ5 実世界を模したタスクにおいて、pruningの影響はメッセージの分布とシステムの安定性にどのような影響を与えるか？

主な発見

• ルーティングタスクにおいて、ゲーミング機構は最大87.22%のメッセージをpruningしたが、パフォーマンス低下はたった18.60%にとどまり、高いpruning効率を示した。
• 中程度のpruning（例：30%のpruning）状況では、ノイズの多いメッセージの除去により、パフォーマンスが最大4.88%向上した。
• 交通制御タスクにおいて、Gated-ACMLはACMLを上回り、交差点付近の重要なメッセージを維持しながら冗長なメッセージをpruningすることで、平均遅延を低減した。
• 本手法は良好に一般化された：Gated-CommNet と Gated-AMP は、タスク間で一貫したメッセージ分布の傾向を示し、広範な適用性を確認した。
• 100%のpruningでも、複雑なルーティングタスクではパフォーマンス低下が65.42%にとどまり、モデルが最も重要なメッセージのみを保持していたことが示された。
• 一方、ATOcは、本手法と比較して最大10倍のメッセージを生成しており、従来のゲーミング機構が帯域制限下の環境では非効率であることが浮き彫りになった。