[论文解读] Local Environment Poisoning Attacks on Federated Reinforcement Learning

Evelyn Ma, Rathi, Praneet+1 more|arXiv (Cornell University)|Mar 5, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种用于联邦强化学习（FRL）的新型本地环境中毒攻击框架，通过在本地训练期间操纵观测值来降低全局策略性能。该方法将攻击建模为优化问题，并在使用私有和公共评论者（critic）的演员-评论者设置下进行扩展，理论上证明可降低全局目标函数，并在多个OpenAI Gym环境和强化学习算法中展现出强大的中毒有效性，优于基线攻击方法。

ABSTRACT

Federated learning (FL) has become a popular tool for solving traditional Reinforcement Learning (RL) tasks. The multi-agent structure addresses the major concern of data-hungry in traditional RL, while the federated mechanism protects the data privacy of individual agents. However, the federated mechanism also exposes the system to poisoning by malicious agents that can mislead the trained policy. Despite the advantage brought by FL, the vulnerability of Federated Reinforcement Learning (FRL) has not been well-studied before. In this work, we propose a general framework to characterize FRL poisoning as an optimization problem and design a poisoning protocol that can be applied to policy-based FRL. Our framework can also be extended to FRL with actor-critic as a local RL algorithm by training a pair of private and public critics. We provably show that our method can strictly hurt the global objective. We verify our poisoning effectiveness by conducting extensive experiments targeting mainstream RL algorithms and over various RL OpenAI Gym environments covering a wide range of difficulty levels. Within these experiments, we compare clean and baseline poisoning methods against our proposed framework. The results show that the proposed framework is successful in poisoning FRL systems and reducing performance across various environments and does so more effectively than baseline methods. Our work provides new insights into the vulnerability of FL in RL training and poses new challenges for designing robust FRL algorithms

研究动机与目标

• 系统研究联邦强化学习（FRL）在恶意代理中毒攻击下的脆弱性。
• 开发一种可泛化的框架，将FRL中的本地环境中毒建模为优化问题。
• 设计一种适用于基于策略的FRL的实用中毒协议，并可扩展至演员-评论者架构。
• 通过实证验证该攻击在多样化强化学习环境和算法中的有效性。
• 揭示FRL中的安全风险，并激发更鲁棒防御机制的研发。

提出的方法

• 该攻击将本地环境中毒建模为优化问题，其中恶意代理在训练期间扰动其本地观测值，以误导全局策略。
• 对于基于策略的FRL，该方法通过在无真实MDP访问的情况下向观测值注入对抗性扰动，操纵本地训练数据。
• 在演员-评论者设置中，攻击者训练一对私有和公共评论者，以扭曲价值函数估计并操纵全局模型更新。
• 该框架确保中毒严格降低全局目标函数，理论证明其有效性。
• 攻击通过标准联邦训练协议进行评估，包括200轮通信中的模型平均与全局模型广播。
• 消融研究将所提方法与干净训练和基于随机奖励的攻击进行对比，以隔离目标观测值中毒的影响。

实验结果

研究问题

• RQ1 能否在FRL中将本地环境中毒建模为一个可证明有效的优化问题？
• RQ2 所提中毒方法在多样化强化学习环境中降低全局策略性能的效能如何？
• RQ3 当扩展至通过价值函数操纵的演员-评论者FRL时，该攻击是否仍有效？
• RQ4 恶意代理的比例如何影响中毒攻击的成功率？
• RQ5 与基线攻击（如随机奖励扰动）相比，所提方法表现如何？

主要发现

• 所提中毒方法在所有测试环境中均成功降低了全局策略性能，包括CartPole、InvertedPendulum、LunarLander、Hopper、Walker2d和HalfCheetah。
• 在VPG-based系统中，该攻击优于基于随机奖励的攻击，在CartPole中观察到明显的性能下降，并在平均回合奖励上实现持续降低。
• 在PPO-based系统中，由于梯度噪声减少，该攻击实现更优性能，从而实现更有效的奖励中毒和更强的策略操纵。
• 即使恶意代理比例较小，该攻击仍具有效力，展现出良好的可扩展性与隐蔽性。
• 该方法可理论证明降低全局目标函数，证实其理论合理性与系统性影响。
• 结果表明FRL易受本地环境中毒攻击影响，对实际部署构成重大安全风险。