[论文解读] Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning

Woojun Kim, Myung-sik Cho+1 more|arXiv (Cornell University)|Feb 18, 2019

Reinforcement Learning in Robotics参考文献 15被引用 6

一句话总结

本文提出了一种名为 message-dropout 的多智能体深度强化学习训练技术，通过在训练过程中随机丢弃消息块并利用学习到的校正概率进行补偿，从而提升性能与鲁棒性。该方法在直接通信和集中训练/分散执行设置下，均能提升训练速度与稳态性能，尤其使策略在部署时对通信故障具有更强的鲁棒性。

ABSTRACT

In this paper, we propose a new learning technique named message-dropout to improve the performance for multi-agent deep reinforcement learning under two application scenarios: 1) classical multi-agent reinforcement learning with direct message communication among agents and 2) centralized training with decentralized execution. In the first application scenario of multi-agent systems in which direct message communication among agents is allowed, the message-dropout technique drops out the received messages from other agents in a block-wise manner with a certain probability in the training phase and compensates for this effect by multiplying the weights of the dropped-out block units with a correction probability. The applied message-dropout technique effectively handles the increased input dimension in multi-agent reinforcement learning with communication and makes learning robust against communication errors in the execution phase. In the second application scenario of centralized training with decentralized execution, we particularly consider the application of the proposed message-dropout to Multi-Agent Deep Deterministic Policy Gradient (MADDPG), which uses a centralized critic to train a decentralized actor for each agent. We evaluate the proposed message-dropout technique for several games, and numerical results show that the proposed message-dropout technique with proper dropout rate improves the reinforcement learning performance significantly in terms of the training speed and the steady-state performance in the execution phase.

研究动机与目标

• 解决由于智能体之间通信导致多智能体深度强化学习（MADRL）输入维度增加的挑战。
• 提升在联合观测与消息带来大输入空间的MADRL中的训练效率与收敛速度。
• 增强在去中心化多智能体系统中执行阶段对通信错误的鲁棒性。
• 通过处理大 critic 输入维度，使集中训练/分散执行（CTDE）框架（如 MADDPG）中的有效训练成为可能。
• 提供一种可泛化的技术，适用于各种MADRL架构，包括通信有限或不可靠的场景。

提出的方法

• message-dropout 在训练期间对来自其他智能体的接收消息应用分块 dropout，以固定概率随机屏蔽整个消息块。
• 通过将对应网络权重乘以学习到的校正概率来补偿被丢弃的消息块，以保持梯度流动。
• 该方法被集成到演员-评论家框架中，尤其应用于 MADDPG 中的集中式评论家，其中评论家处理所有智能体的联合观测与动作。
• 该技术在策略网络与价值网络训练中均被应用，dropout 概率经过调优以在探索与稳定性之间取得平衡。
• 架构中为每个智能体自身的观测设计了比接收消息更深的网络分支，以强调个体状态的重要性。
• 该方法在稳定与不稳定通信环境中均进行了评估，包括推理阶段出现部分或全部消息丢失的情况。

实验结果

研究问题

• RQ1 message-dropout 对于具有通信能力的多智能体深度强化学习中的训练速度与最终性能有何影响？
• RQ2 message-dropout 是否能提升去中心化多智能体系统在执行阶段对通信故障的鲁棒性？
• RQ3 在训练效率与稳态性能方面，message-dropout 的最优 dropout 率是多少？
• RQ4 在通信不稳定环境中，message-dropout 与独立学习（FDC）和标准 DCC 基线方法相比表现如何？
• RQ5 message-dropout 在不同 MADRL 架构与通信模式下的泛化能力如何？

主要发现

• 在最优 dropout 率下，message-dropout 显著提升了多智能体深度强化学习环境中的训练速度与最终性能。
• 在追逐游戏中，当执行阶段一半通信链路中断时，DCC-MD（带 message-dropout 的 DCC）优于标准 DCC 与 FDC。
• 当所有通信链路中断时，DCC-MD 仍优于标准 DCC，尽管 FDC 仍表现更优，表明 message-dropout 在部分故障下显著增强了鲁棒性。
• 该方法通过稳定训练与提升泛化能力，有效应对了MADRL中输入维度增加的问题，尤其在多智能体带来的高维输入空间中表现突出。
• 消融实验确认，与无 dropout 的基线相比，message-dropout 能实现更优的稳态性能与更快的收敛速度。
• 该技术在直接通信（DCC）与集中训练/分散执行（CTDE）场景中均有效，展现出广泛的适用性。