[论文解读] Certifiably Robust Policy Learning against Adversarial Communication in Multi-agent Systems

Yanchao Sun, Ruijie Zheng+5 more|arXiv (Cornell University)|Jun 21, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出Ablated Message Ensemble（AME），一种针对多智能体强化学习中对抗性通信的可证明鲁棒防御方法。通过聚合多个消融消息子集的动作，AME 确保即使有最多 $ C < \frac{N-1}{2} $ 条消息被破坏，策略仍保持鲁棒性，同时在良性通信下保持高性能。该方法提供与攻击策略无关的理论保证。

ABSTRACT

Communication is important in many multi-agent reinforcement learning (MARL) problems for agents to share information and make good decisions. However, when deploying trained communicative agents in a real-world application where noise and potential attackers exist, the safety of communication-based policies becomes a severe issue that is underexplored. Specifically, if communication messages are manipulated by malicious attackers, agents relying on untrustworthy communication may take unsafe actions that lead to catastrophic consequences. Therefore, it is crucial to ensure that agents will not be misled by corrupted communication, while still benefiting from benign communication. In this work, we consider an environment with $N$ agents, where the attacker may arbitrarily change the communication from any $C&lt;\frac{N-1}{2}$ agents to a victim agent. For this strong threat model, we propose a certifiable defense by constructing a message-ensemble policy that aggregates multiple randomly ablated message sets. Theoretical analysis shows that this message-ensemble policy can utilize benign communication while being certifiably robust to adversarial communication, regardless of the attacking algorithm. Experiments in multiple environments verify that our defense significantly improves the robustness of trained policies against various types of attacks.

研究动机与目标

• 解决多智能体强化学习中因对抗性通信可能导致智能体采取灾难性行为的关键安全漏洞。
• 开发一种防御机制，确保对能够破坏最多 $ C < \frac{N-1}{2} $ 条消息的强适应性攻击者具备鲁棒性。
• 在确保对抗条件下理论鲁棒性的同时，保持在良性通信上的高性能。
• 提供可证明的防御——不同于经验性防御——无论攻击者策略如何，均提供数学保证。

提出的方法

• 提出一种消息集成策略，通过聚合来自多个随机消融的消息子集的动作。
• 训练一种消息消融策略，基于从 $ N-1 $ 个智能体中随机选择的 $ k $ 条消息输出基础动作。
• 通过在多个消融消息集的动作上进行平均或投票，构建最终策略，确保对最多 $ C $ 条被破坏消息的鲁棒性。
• 理论分析证明，当 $ k $ 满足 $ k \geq \frac{C}{2} + 1 $ 时，该方法具有可证明的鲁棒性，确保至少一个消融集合中包含多数良性消息。
• 引入一种事后对抗性消息检测方法，利用动作偏差在消融前过滤恶意消息，从而支持更大的 $ k $ 值并提升自然性能。
• 使用基于中位数的动作偏差度量指标，识别出导致显著异常动作的消息，假设这些消息极有可能来自被攻陷的智能体。

实验结果

研究问题

• RQ1 能否设计一种防御机制，确保在攻击者自适应且可破坏最多 $ C < \frac{N-1}{2} $ 条消息的情况下，多智能体系统对对抗性通信具备鲁棒性？
• RQ2 在任意对抗性扰动下，是否可能在保持理论鲁棒性的同时，维持对良性通信的高性能？
• RQ3 消息消融与集成聚合是否能提供无需依赖对抗性训练或启发式方法的可证明鲁棒性？
• RQ4 如何检测恶意消息，以在不损害可证明保证的前提下提升鲁棒策略的自然性能？
• RQ5 通过结合消息过滤与基于消融的集成方法，能否缓解鲁棒性与自然性能之间的权衡？

主要发现

• Ablated Message Ensemble（AME）防御在对抗性通信下实现了可证明的鲁棒性，其理论保证不依赖于攻击者策略。
• AME 在良性通信下保持了强劲性能，这在多个多智能体强化学习环境中得到验证，表明鲁棒性不会以牺牲自然性能为代价。
• 实验结果证实，AME 显著提升了对各类攻击（包括隐蔽的、自适应的和协作式攻击）的鲁棒性。
• 动作偏差度量能有效识别恶意消息，被攻陷的智能体表现出显著高于良性智能体的偏差，验证了检测方法的有效性。
• 即使仅过滤掉一条恶意消息，也能支持更大的 $ k $ 值，从而在保持鲁棒性的同时提升策略的自然性能。
• 当理论条件被放宽时，该方法依然有效，表明其在实际应用中具有超越形式保证的鲁棒性。