[论文解读] Mis-spoke or mis-lead: Achieving Robustness in Multi-Agent Communicative Reinforcement Learning

Wanqi Xue, Wei Qiu+4 more|arXiv (Cornell University)|Aug 9, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用 11

一句话总结

本文提出了一种针对对抗性消息攻击的鲁棒多智能体通信强化学习（MACRL）框架。该框架引入了一种两阶段消息过滤器，用于检测并重建恶意消息，并提出了一种基于博弈论的方法 $ρ$-MACRL，将攻击-防御过程建模为零和博弈，以提升最坏情况下的鲁棒性，显著增强了多种 MACRL 算法和环境在攻击下的协调能力。

ABSTRACT

Recent studies in multi-agent communicative reinforcement learning (MACRL) have demonstrated that multi-agent coordination can be greatly improved by allowing communication between agents. Meanwhile, adversarial machine learning (ML) has shown that ML models are vulnerable to attacks. Despite the increasing concern about the robustness of ML algorithms, how to achieve robust communication in multi-agent reinforcement learning has been largely neglected. In this paper, we systematically explore the problem of adversarial communication in MACRL. Our main contributions are threefold. First, we propose an effective method to perform attacks in MACRL, by learning a model to generate optimal malicious messages. Second, we develop a defence method based on message reconstruction, to maintain multi-agent coordination under message attacks. Third, we formulate the adversarial communication problem as a two-player zero-sum game and propose a game-theoretical method R-MACRL to improve the worst-case defending performance. Empirical results demonstrate that many state-of-the-art MACRL methods are vulnerable to message attacks, and our method can significantly improve their robustness.

研究动机与目标

• 研究最先进 MACRL 方法在对抗性消息操纵下的脆弱性。
• 设计一种可学习的攻击模型，以学习最优恶意消息来破坏多智能体协调。
• 开发一种两阶段消息过滤器，检测异常并重建原始消息以实现防御。
• 通过将攻击-防御交互形式化为双人零和博弈，提升最坏情况下的鲁棒性。
• 在多种 MACRL 算法和环境中验证所提防御方法的有效性。

提出的方法

• 通过使用 PPO 训练策略生成最优恶意消息，对多智能体协调造成干扰，建模对抗性攻击。
• 提出一种两阶段消息过滤器：首先，异常检测器识别可疑消息；其次，消息重建器利用学习到的类似自编码器的结构恢复原始消息。
• 将防御机制集成到 MACRL 训练流程中，使智能体即使在持续的消息攻击下也能维持协调。
• 将攻击-防御问题形式化为双人零和博弈，并基于 PSRO 框架开发 $ρ$-MACRL，以近似纳什均衡策略。
• 基于博弈论的方法通过在训练期间优化最坏情况攻击场景，实现鲁棒性的提升。
• 在多种 MACRL 算法（如 MADQN、MAPPO）和环境（如 NDQ、Hanabi）上评估该方法，并对过滤器组件进行消融研究。

实验结果

研究问题

• RQ1 最先进 MACRL 算法对对抗性消息攻击有多脆弱？
• RQ2 可学习的消息过滤器能否有效检测并重建恶意消息以恢复协调？
• RQ3 各组件（异常检测器与消息重建器）对过滤器性能的影响如何？
• RQ4 基于博弈论的防御策略能否提升对抗性通信中的最坏情况鲁棒性？
• RQ5 所提出的 $ρ$-MACRL 框架如何在标准防御机制之外增强 MACRL 的鲁棒性？

主要发现

• 许多最先进的 MACRL 方法，包括 MADQN 和 MAPPO，在对抗性条件下性能显著下降，表明其对消息攻击高度脆弱。
• 所提出的两阶段消息过滤器在攻击下能有效恢复多智能体协调，且异常检测器与消息重建器均对高性能至关重要。
• 在存在多个攻击者的情况下，消息过滤器使智能体能够恢复合作，尽管需要更多训练步数才能收敛。
• 在 NDQ 环境中，$ρ$-MACRL 训练的智能体在 4bane_vs_hM 场景下实现了 $15.86 \pm 0.08$ 的期望效用（对比基线防御方法的 $15.50 \pm 0.29$）。
• 在 1o_3r_vs_4r 场景中，$ρ$-MACRL 将期望效用提升至 $18.39 \pm 0.80$，优于基线方法的 $17.03 \pm 0.53$。
• 消融研究证实，若禁用异常检测器或消息重建器，防御性能将严重下降，证明两个组件均至关重要。