[論文レビュー] Learning Multi-agent Communication under Limited-bandwidth Restriction for Internet Packet Routing

Hangyu Mao, Zhibo Gong+3 more|arXiv (Cornell University)|Feb 26, 2019

Distributed Control Multi-Agent Systems参考文献 22被引用数 11

ひとこと要約

本稿では、インターネットパケットルーティングにおける帯域幅制限下で、利益のないメッセージを動的に削除するためのゲーティング機構を、マルチエージェント強化学習フレームワーク内に提案する。通信が有益である場合にのみゲートを開放するように訓練することで、性能の低下を最小限に抑えながらメッセージ量を80%以上削減でき、実世界およびベンチマークタスクの両方で最先端のDRLおよびルールベース手法を上回る性能を発揮した。

ABSTRACT

Communication is an important factor for the big multi-agent world to stay organized and productive. Recently, the AI community has applied the Deep Reinforcement Learning (DRL) to learn the communication strategy and the control policy for multiple agents. However, when implementing the communication for real-world multi-agent applications, there is a more practical limited-bandwidth restriction, which has been largely ignored by the existing DRL-based methods. Specifically, agents trained by most previous methods keep sending messages incessantly in every control cycle; due to emitting too many messages, these methods are unsuitable to be applied to the real-world systems that have a limited bandwidth to transmit the messages. To handle this problem, we propose a gating mechanism to adaptively prune unprofitable messages. Results show that the gating mechanism can prune more than 80% messages with little damage to the performance. Moreover, our method outperforms several state-of-the-art DRL-based and rule-based methods by a large margin in both the real-world packet routing tasks and four benchmark tasks.

研究の動機と目的

• 実世界のマルチエージェントシステムにおける帯域幅制限下での通信という実用的課題に対処すること。特に、インターネットパケットルーティングを対象とする。
• 既存のDRL手法が、利便性にかかわらず継続的にメッセージを生成するという制限を克服すること。
• タスクのパフォーマンスを維持しつつ、メッセージ頻度を制御する原理的かつ学習可能なメカニズムを構築すること。
• 帯域幅制限環境に適したスケーラブルで安定したマルチエージェント通信を実現すること。

提案手法

• DRLに基づく通信と制御方策を統合した包括的フレームワーク「アクター・クリティック・メッセージ学習（ACML）」を提案する。
• チーム全体の期待利益に基づいて、メッセージを送信するかどうかを決定する学習可能なゲーティング機構を導入する。
• メッセージの有用性を、期待Q値の変化（ΔQ）を用いて評価する新しい補助タスクを活用してゲートを訓練する。
• 推論中に適応的にメッセージの削除率を制御するための動的しきい値戦略を採用する。
• DDPGスタイルのオフポリシー学習に従い、経験リプレイとターゲットネットワークを統合して学習を安定化させる。
• メッセージ有用性の微分可能近似を最適化することで、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能なゲーティング機構は、パフォーマンスを劣化させることなく、マルチエージェント通信におけるメッセージ量を効果的に削減できるか？
• RQ2 このような機構は、実世界のルーティングタスクにおける厳密な帯域幅制限下でも、性能をどれほど維持できるか？
• RQ3 ゲーティング機構は、システムの安定性と収束性を保ちながら、利益のないメッセージをどの程度まで削除できるか？
• RQ4 本手法は、ベンチマークおよび実世界のルーティング環境において、最先端のDRLおよびルールベースベースラインと比較してどの程度優れているか？

主な発見

• ゲーティング機構により、80%を超えるメッセージが削除されたが、パフォーマンスの低下は7%未満に抑えられ、高い削減効率を示した。
• 95%のメッセージ削除率の条件下でも、パフォーマンス低下はわずか11.3%にとどまり、多くのメッセージが実際には利益のないものであることが裏付けられた。
• すべてのメッセージを削除した場合（100%）、パフォーマンスは61.52%低下したが、これはわずか1.5%のメッセージがパフォーマンスに不可欠であることを確認した。
• GACMLは、特に複雑なトポロジーにおいて、他のDRL手法よりも高い収束率を達成し、訓練の安定性が向上したことが示された。
• MLU（平均リンク利用率）と報酬の両面で、GACMLはMADDPGおよびWCMPなどのルールベース手法を上回ったが、WCMPは中程度のトポロジーでは失敗した。
• 合成実験におけるゲート値は、フローのダイナミクスに非常に近い挙動を示し、モデルがネットワーク状態に適応して通信を制御していることが確認された。