[論文レビュー] LEARNING TO SCHEDULE COMMUNICATION IN MULTI-AGENT REINFORCEMENT LEARNING

Daewoo Kim, Sangwoo Moon+5 more|arXiv (Cornell University)|Feb 5, 2019

Energy Harvesting in Wireless Networks参考文献 29被引用数 59

ひとこと要約

SchedNetは中央のクリティックと分散アクターをトレーニングし、限られた帯域幅と共有媒体制約の下でエージェントが通信すべき時と方法を学習させ、協調的な MARL の性能を非通信および単純なスケジューリングベースラインより向上させます。

ABSTRACT

Many real-world reinforcement learning tasks require multiple agents to make sequential decisions under the agents' interaction, where well-coordinated actions among the agents are crucial to achieve the target goal better at these tasks. One way to accelerate the coordination effect is to enable multiple agents to communicate with each other in a distributed manner and behave as a group. In this paper, we study a practical scenario when (i) the communication bandwidth is limited and (ii) the agents share the communication medium so that only a restricted number of agents are able to simultaneously use the medium, as in the state-of-the-art wireless networking standards. This calls for a certain form of communication scheduling. In that regard, we propose a multi-agent deep reinforcement learning framework, called SchedNet, in which agents learn how to schedule themselves, how to encode the messages, and how to select actions based on received messages. SchedNet is capable of deciding which agents should be entitled to broadcasting their (encoded) messages, by learning the importance of each agent's partially observed information. We evaluate SchedNet against multiple baselines under two different applications, namely, cooperative communication and navigation, and predator-prey. Our experiments show a non-negligible performance gap between SchedNet and other mechanisms such as the ones without communication and with vanilla scheduling methods, e.g., round robin, ranging from 32% to 43%.

研究の動機と目的

• 部分観測下で共通の目標を達成するために通信が必要な複数エージェントをどう調整するかを検討する。
• 実用的な制約に対応する：限られた帯域幅と MAC スタイルのスケジューリングを必要とする共有通信媒体。
• どのエージェントがブロードキャストすべきか、どうメッセージをエンコードするか、受信したメッセージに基づいてどう行動を選ぶかを学ぶ。
• 集中訓練を分散実行と組み合わせて協調性能を向上させる。

提案手法

• エージェントごとにメッセージエンコーダー、アクションセレクター、ウェイトジェネレーターの3つの要素を持つ深層 MARLフレームワークであるSchedNetを提案する。
• 限られた帯域幅の下でどのK名のスケーラブルなエージェントがメッセージをブロード broadcastするかを選択するウェイトベースのスケジューリングアルゴリズム（WSA）を導入する。
• 訓練時には集中クリティックを用いてV(s)とQ(s,w)を推定し、アクターの更新を指針とする。
• 観測から得られる情報を最適化するために、ウェイト生成器をDDPGで訓練する。
• Two WSA variantsを実装する：Top(k)とSoftmax(k)、CSMA様機構を介して分散的に実現可能。
• エンコーダー、アクションセレクター、ウェイトジェネレーターを共通のクリティックの下で共同訓練する統合アーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 帯域幅とMAC制約の下でエージェント間通信を知的に学習したスケジューリングは協調MARLを改善できるか？
• RQ2 エージェントはどのようにメッセージをエンコードし、ブロードキャスト機会をどう割り当てて集団報酬を最大化すべきか？
• RQ3 集中訓練と分散実行は、スケジュールされた通信で効果的な協調を可能にするか？
• RQ4 Top(k)とSoftmax(k)のスケジューリングポリシーは、MARLタスクにおける性能と学習された通信戦略にどのような影響を与えるか？
• RQ5 非通信ベースラインや単純なスケジューリング方式と比較して、どの程度の性能向上が見られるか？

主な発見

• スケジュールされていない（IDQN, COMA）や単純なスケジューリング（ラウンドロビン）よりもSchedNetはパフォーマンスが高い。
• Predator-Preyの場合、Top(1)を用いたSchedNetはRound Robinスケジューリングより最大で43%の改善をもたらす。
• Cooperative Communication and NavigationではSchedNetはベースラインを大幅に上回り、Top(1)がSoftmax(1)をやや上回る。
• 学習されたスケジューリングウェイトは、より長い観測ホライズンを持つエージェントを優先し、適応的な重要度ベースのスケジューリングを示す。
• スケジュールされたエージェントからのメッセージは、捕捉可能な情報（例：獲物の位置）が含まれる場合により有益になる。
• 決定論的Top(k)スケジューリングは確率的Softmax(k)スケジューリングより大きな利得を与えることが多い。