[論文レビュー] Event-Triggered Multi-agent Reinforcement Learning with Communication under Limited-bandwidth Constraint

Guangzheng Hu, Yuanheng Zhu+3 more|arXiv (Cornell University)|Oct 10, 2020

Reinforcement Learning in Robotics参考文献 36被引用数 5

ひとこと要約

本稿では、帯域幅制限に応じたメッセージ送信を必要に応じてのみ実行することで帯域幅使用量を削減する、イベントトリガー型通信ネットワーク（ETCNet）を提案する。これは、ペナルティに基づく帯域幅閾値を用いた制約付きマルコフ決定過程（CMDP）を用いて、協調的性能を損なわずに帯域幅を大幅に削減する。ETCNetは、限られた帯域幅制約下でも、従来手法に比べて通信効率とタスクパフォーマンスの両面で優れた性能を達成する。

ABSTRACT

Communicating with each other in a distributed manner and behaving as a group are essential in multi-agent reinforcement learning. However, real-world multi-agent systems suffer from restrictions on limited-bandwidth communication. If the bandwidth is fully occupied, some agents are not able to send messages promptly to others, causing decision delay and impairing cooperative effects. Recent related work has started to address the problem but still fails in maximally reducing the consumption of communication resources. In this paper, we propose Event-Triggered Communication Network (ETCNet) to enhance the communication efficiency in multi-agent systems by sending messages only when necessary. According to the information theory, the limited bandwidth is translated to the penalty threshold of an event-triggered strategy, which determines whether an agent at each step sends a message or not. Then the design of the event-triggered strategy is formulated as a constrained Markov decision problem, and reinforcement learning finds the best communication protocol that satisfies the limited bandwidth constraint. Experiments on typical multi-agent tasks demonstrate that ETCNet outperforms other methods in terms of the reduction of bandwidth occupancy and still preserves the cooperative performance of multi-agent systems at the most.

研究の動機と目的

• マルチエージェント強化学習における限られた帯域幅通信の課題に対処し、過剰なメッセージ送信による遅延と協調性能の低下を解消すること。
• 協調的パフォーマンスを損なわせることなく帯域幅使用量を最小限に抑える通信プロトコルを設計すること。
• 制約付きMDPフレームワークにおいて帯域幅制約をペナルティ閾値として形式化し、効率的通信のエンドツーエンド学習を可能にすること。
• 固定または観測に基づくスケジューリングではなく、情報共有の実際の必要性に基づいて通信を実行する意思決定をエージェントに可能にすること。

提案手法

• 帯域幅制限は、制約付きマルコフ決定過程（CMDP）におけるペナルティ閾値として数学的にモデル化され、ネットワーク制約が学習可能な最適化目的関数に変換される。
• イベントトリガー型ゲーミングポリシーが導入され、協調的パフォーマンスへの潜在的利点と帯域幅使用コストの両者を考慮して、メッセージ送信の有無を決定する。
• ゲーミングポリシーは、CMDPのラグランジュ緩和を用いた強化学習により訓練され、協調報酬と帯域幅ペナルティのバランスが取られる。
• エージェントのポリシーネットワークには、記憶されたメッセージが組み込まれており、部分観測下での意思決定を向上させる。
• システムは、ゲーミングポリシーが環境の変化や通信ニーズに動的に適応できるように、ディープ強化学習を用いてエンドツーエンドで訓練される。
• 本手法は、協調的ナビゲーションおよび捕食者・獲物タスクにおいて、SchedNet、Gated-ACML、Message-Dropoutと同等の帯域幅制約下で評価される。

実験結果

リサーチクエスチョン

• RQ1 限られた帯域幅制約下で、マルチエージェント強化学習における通信をどのように効率化できるか？
• RQ2 イベントトライガー型通信は、帯域幅使用量を削減しつつ、協調的パフォーマンスを維持または向上させることができるか？
• RQ3 限られた帯域幅下で、通信頻度と協調的品質の最適なトレードオフは何か？
• RQ4 過去のメッセージの記憶を組み込むことで、イベントトライガー型通信のパフォーマンスと効率性にどのような影響を与えるか？
• RQ5 強化学習は、明示的な帯域幅制約を尊重する効果的な通信プロトコルをどの程度学習できるか？

主な発見

• ETCNetは、ベースライン手法と比較して帯域幅使用量を顕著に削減し、580 bit/sおよび1200 bit/sの制約下でそれぞれ31.7%および55.7%のメッセージ送信確率を達成した。
• 協調的ナビゲーションタスクにおいて、580 bit/sの帯域幅下でETCNetは平均リターン52.78±17.71を達成し、SchedNet（54.06±13.14）およびMessage-Dropout（91.385±13.94）と比較して、パフォーマンスと効率性の両面で優れた結果を示した。
• アブレーションスタディの結果、ゲーミングポリシーから記憶されたメッセージを削除すると、メッセージ送信頻度が上昇し、パフォーマンスが劣化した。これは、記憶が効率的通信を維持するために重要な役割を果たしていることを確認した。
• エージェントポリシーにおける記憶メッセージのアブレーションは、協調的パフォーマンスのほぼ完全な崩壊を引き起こした。これは、記憶が文脈維持と意思決定品質の両面で不可欠であることを示している。
• ETCNetは、協調的パフォーマンスに実際の影響を与える場合にのみメッセージを送信する学習が、観測に基づくまたは固定レートの通信よりも優れた帯域幅利用効率を実現することを示した。
• 学習曲線から、帯域幅が低いとメッセージ送信回数は減少するが、評価パフォーマンスは悪化する傾向が確認され、適切な通信量が協調的動作に不可欠であることが裏付けられた。