[论文解读] Learning to Backdoor Federated Learning

Henger Li, Wu Chen+2 more|arXiv (Cornell University)|Mar 6, 2023

Adversarial Robustness in Machine Learning被引用 6

一句话总结

该论文提出了一种基于强化学习（RL）的后门攻击框架，用于联邦学习，该框架在模拟环境中利用本地数据和系统知识，训练一种自适应的、非短视的攻击策略。该方法在最先进的训练阶段防御（例如Krum、Median、范数限制）和后训练防御（例如Neuron Clipping、Pruning）下，均实现了接近完美的后门准确率（高达100%），且具有出色的持久性，优于现有的攻击方法如BFL、DBA和Anticipate。

ABSTRACT

In a federated learning (FL) system, malicious participants can easily embed backdoors into the aggregated model while maintaining the model's performance on the main task. To this end, various defenses, including training stage aggregation-based defenses and post-training mitigation defenses, have been proposed recently. While these defenses obtain reasonable performance against existing backdoor attacks, which are mainly heuristics based, we show that they are insufficient in the face of more advanced attacks. In particular, we propose a general reinforcement learning-based backdoor attack framework where the attacker first trains a (non-myopic) attack policy using a simulator built upon its local data and common knowledge on the FL system, which is then applied during actual FL training. Our attack framework is both adaptive and flexible and achieves strong attack performance and durability even under state-of-the-art defenses.

研究动机与目标

• 为解决现有联邦学习后门攻击的局限性，这些攻击通常具有短视性，且对先进防御措施无效。
• 开发一种更具自适应性和持久性的后门攻击，能够破坏训练阶段的聚合防御机制以及后训练阶段的缓解技术。
• 证明当前防御措施在面对能够预判系统响应的智能、长期攻击策略时是不足的。
• 表明强化学习可用于动态优化攻击超参数，从而提升攻击性能和隐蔽性。

提出的方法

• 将后门攻击建模为马尔可夫决策过程（MDP），使攻击者学习一种策略，以在主任务和后门任务上均实现长期奖励最大化。
• 利用本地数据和系统知识构建一个模拟器（世界模型），以模拟联邦学习环境，并在受控环境中训练攻击策略。
• 使用深度强化学习，联合优化两阶段攻击超参数：(1) 模型更新策略；(2) 后门注入的权重调整。
• 实现一种双重打击后门攻击（DWBA），以压缩动作空间，提高效率，同时保持高攻击性能。
• 将防御行为（如Krum、Median、Neuron Clipping）纳入奖励函数，使攻击对未来的系统响应具有鲁棒性。
• 在真实联邦学习训练中应用训练好的RL策略，并可选地注入噪声以规避检测。

实验结果

研究问题

• RQ1 在强聚合防御和后训练防御下，基于强化学习的攻击是否能优于基于启发式方法的后门攻击？
• RQ2 当在训练后应用防御措施时，基于强化学习的后门攻击的持久性与现有攻击相比如何？
• RQ3 RL智能体在多大程度上能够学习预判并适应Krum和Median等鲁棒聚合规则的行为？
• RQ4 在奖励函数中引入防御机制是否能提升攻击在真实联邦学习系统中的抗御能力和隐蔽性？

主要发现

• 在Krum和Median防御下，RL攻击在100次训练轮次内即实现100%的后门准确率，显著优于BFL，后者表现出波动且较低的性能。
• 在范数限制防御（阈值0.05）下，RL攻击在220轮后达到约100%的后门准确率，而BFL的后门准确率从未超过50%。
• 该攻击在主任务上的准确率与基线方法相当，表明主任务性能未受影响。
• 通过在策略训练期间学习预判后训练防御（如Neuron Clipping和Pruning）的影响，该攻击成功绕过了这些防御机制。
• 在300轮联邦学习训练后，RL攻击仍保持80%的后门准确率，而其他攻击的准确率衰减至40%以下，证明其具有优越的持久性。
• 该攻击的成功归因于其非短视的长期优化策略，该策略在奖励函数中考虑了未来的系统行为。