[論文レビュー] Learning Attentional Communication for Multi-Agent Cooperation

Jiechuan Jiang, Zongqing Lu|arXiv (Cornell University)|May 20, 2018

Reinforcement Learning in Robotics参考文献 26被引用数 241

ひとこと要約

ATOCは大規模なマルチエージェント強化学習において、いつ誰と通信するかを学習し、注意機構ユニットと双方向LSTMの通信チャネルを用いて協調性とスケーラビリティを向上させる。

ABSTRACT

Communication could potentially be an effective way for multi-agent cooperation. However, information sharing among all agents or in predefined communication architectures that existing methods adopt can be problematic. When there is a large number of agents, agents cannot differentiate valuable information that helps cooperative decision making from globally shared information. Therefore, communication barely helps, and could even impair the learning of multi-agent cooperation. Predefined communication architectures, on the other hand, restrict communication among agents and thus restrain potential cooperation. To tackle these difficulties, in this paper, we propose an attentional communication model that learns when communication is needed and how to integrate shared information for cooperative decision making. Our model leads to efficient and effective communication for large-scale multi-agent cooperation. Empirically, we show the strength of our model in a variety of cooperative scenarios, where agents are able to develop more coordinated and sophisticated strategies than existing methods.

研究の動機と目的

• 通信帯域が限られた大規模マルチエージェントシステムで効率的な協力を動機づける。
• エージェントが通信すべき時を決定する動的で注意に基づくメカニズムを開発する。
• 形成されたグループ内で情報を選択的に共有する双方向LSTM通信チャネルを提案する。
• 方策と通信を同時に学習できるよう、アクタークリティックフレームワーク内でエンドツーエンドでモデルを訓練する。
• 協調および競合的なマルチエージェントシナリオでベースラインより改善を示す。

提案手法

• エージェントのエンコードされた観測と行動意図を与えると、通信が必要である確率を出力する注意ユニットを導入する。
• 通信が必要なとき、イニシエータは近接する協力者の小さな集合を選択して通信グループを形成する。
• グループ内のエージェントの思考を統合し、協調した行動のための統合された思考を生み出すために、通信チャネルとして双方向LSTMを用いる。
• 統合された思考をエージェント自身の思考と結合し、方策ネットワークに入力して行動を生成する。
• Delta Q差分に導かれた注意ユニットの二値分類器を含む、共有ポリシーとQネットワークを用いたDDPGの拡張で訓練する。
• 複数のシナリオ（協調ナビゲーション、協調プッシュボール、捕食者-獲物）で、ベースライン（CommNet、BiCNet、DDPG）と比較する。

実験結果

リサーチクエスチョン

• RQ1 注意機構を用いた通信は大規模MARLにおける協調性とスケーラビリティを改善できるか？
• RQ2 動的で内容に応じた通信は、帯域幅制約下で完全連結や事前定義されたアーキテクチャを上回るか？
• RQ3 注意誘導グルーピングは、異なる報酬構造（局所/グローバル、競合）において学習効率と最終性能にどのように影響するか？

主な発見

N	L	平均報酬 (ATOC)	平均報酬 (ATOC 無通信)	平均報酬 (DDPG)	平均報酬 (CommNet)	平均報酬 (BiCNet)	衝突回数 (ATOC)	衝突回数 (ATOC 無通信)	衝突回数 (DDPG)	衝突回数 (CommNet)	衝突回数 (BiCNet)	占有ランドマークの割合 (ATOC)	占有ランドマークの割合 (ATOC 無通信)	占有ランドマークの割合 (DDPG)	占有ランドマークの割合 (CommNet)	占有ランドマークの割合 (BiCNet)
50	50	-0.04	-0.22	-0.14	-0.60	-0.52	13	47	32	59	51	92%	40%	22%	12%	16%

• 協調ナビゲーションで、ATOCはベースライン（CommNet、BiCNet、DDPG）より優れており、平均報酬が高く衝突が少ない。
• 通信は有益である：通信ありのATOCは通信なしのATOCより優れている。
• 動的で注意駆動型の通信は不要な情報交換を減らし、全接続ベースラインより多くのエージェントへスケールする。
• 双方向LSTM通信チャネルは情報を選択的に保持・伝播し、単純な平均化手法よりも協調的なグループ戦略を可能にする。
• 可視化は通信活動が密集した領域や複雑な領域に集中し、協調が安定すると減少することを示す。