[論文レビュー] Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning

Woojun Kim, Myung-sik Cho+1 more|arXiv (Cornell University)|Feb 18, 2019

Reinforcement Learning in Robotics参考文献 15被引用数 6

ひとこと要約

本論文では、訓練中にメッセージブロックをランダムにドロップし、学習された補正確率で補正することで、パフォーマンスとロバスト性を向上させる、マルチエージェント強化学習のための訓練技術であるメッセージドロップアウトを提案する。直接通信と集中型訓練・分散型実行の両設定において、訓練速度と定常状態でのパフォーマンスを向上させるとともに、特に実行時の通信障害に対してポリシーのロバスト性を高める。

ABSTRACT

In this paper, we propose a new learning technique named message-dropout to improve the performance for multi-agent deep reinforcement learning under two application scenarios: 1) classical multi-agent reinforcement learning with direct message communication among agents and 2) centralized training with decentralized execution. In the first application scenario of multi-agent systems in which direct message communication among agents is allowed, the message-dropout technique drops out the received messages from other agents in a block-wise manner with a certain probability in the training phase and compensates for this effect by multiplying the weights of the dropped-out block units with a correction probability. The applied message-dropout technique effectively handles the increased input dimension in multi-agent reinforcement learning with communication and makes learning robust against communication errors in the execution phase. In the second application scenario of centralized training with decentralized execution, we particularly consider the application of the proposed message-dropout to Multi-Agent Deep Deterministic Policy Gradient (MADDPG), which uses a centralized critic to train a decentralized actor for each agent. We evaluate the proposed message-dropout technique for several games, and numerical results show that the proposed message-dropout technique with proper dropout rate improves the reinforcement learning performance significantly in terms of the training speed and the steady-state performance in the execution phase.

研究の動機と目的

• エージェント間の通信に起因するマルチエージェント深層強化学習（MADRL）における入力次元の増加という課題に対処すること。
• 共同観測とメッセージから生じる大きな入力空間を有するMADRLにおける訓練効率と収束速度の向上。
• 分散型マルチエージェントシステムにおける実行時における通信エラーに対するロバスト性の向上。
• MADDPGのような集中型訓練・分散型実行（CTDE）フレームワークにおいて、大きなクリティック入力次元を扱うことにより、効果的な訓練を可能にすること。
• 限られたまたは信頼性の低いエージェント間通信を伴うさまざまなMADRLアーキテクチャに一般化可能な技術を提供すること。

提案手法

• メッセージドロップアウトは、訓練中に他のエージェントからの受信メッセージに対してブロック単位のドロップアウトを適用し、固定確率で全メッセージブロックをマスクする。
• ドロップされたメッセージブロックを補うために、対応するネットワーク重みに学習された補正確率を乗算することで勾配の流れを維持する。
• 特に、すべてのエージェントの共同観測と行動を処理する集中型クリティックに適用される、アクター・クリティックフレームワークに統合される。
• ドロップアウト確率は、探査と安定性のバランスを取るために調整され、ポリシーと価値ネットワークの両方の訓練に適用される。
• 各エージェントの自身の観測に対しては、受信メッセージよりも深いネットワークブランチが使用され、個々の状態の重要性が強調される。
• 本手法は、通信が不安定な環境、すなわち推論時における部分的または完全なメッセージ損失が発生する状況を含め、安定および不安定な通信環境で評価される。

実験結果

リサーチクエスチョン

• RQ1 メッセージドロップアウトは、通信を伴うマルチエージェント深層強化学習における訓練速度と最終的パフォーマンスにどのように影響するか？
• RQ2 メッセージドロップアウトは、分散型マルチエージェントシステムにおける実行時の通信障害に対してロバスト性を向上させることができるか？
• RQ3 訓練効率と定常状態パフォーマンスの観点から、メッセージドロップアウトの最適ドロップアウト率は何か？
• RQ4 不安定な通信環境において、メッセージドロップアウトは独立学習（FDC）や標準DCCと比較してどのように優れているか？
• RQ5 メッセージドロップアウトは、さまざまなMADRLアーキテクチャや通信パターンにどの程度一般化可能か？

主な発見

• 最適なドロップアウト率を用いたメッセージドロップアウトは、マルチエージェント深層強化学習環境における訓練速度と最終的パフォーマンスを顕著に向上させる。
• 追跡ゲームでは、実行時に通信リンクの半分が断たれた状況でも、DCC-MD（DCCにメッセージドロップアウトを適用したもの）は標準DCCおよびFDCを上回る性能を示す。
• すべての通信リンクが断たれた場合でも、DCC-MDは標準DCCよりも優れた性能を示すが、FDCは依然として優れていることから、メッセージドロップアウトが部分的障害下でもロバスト性を高めることを示している。
• 本手法は、MADRLにおける入力次元の増加を安定化させ、特に多数のエージェントからの高次元入力空間において一般化性能を向上させる。
• アブレーションスタディにより、ドロップアウトなしのベースラインと比較して、メッセージドロップアウトがより優れた定常状態パフォーマンスとより速い収束をもたらすことが確認された。
• 本手法は、直接通信（DCC）および集中型訓練・分散型実行（CTDE）の両設定で有効であり、広範な適用可能性を示している。