[论文解读] Dynamic backdoor attacks against federated learning

Anbu Huang|arXiv (Cornell University)|Nov 15, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用 13

一句话总结

该论文首次提出一种在联邦学习中实现动态后门攻击的框架，通过将元学习与后门注入相结合，使恶意客户端能够在极少微调的情况下快速适应新的攻击目标。所提出的共生网络在MNIST数据集上实现了高达98.7%的后门成功率，同时保持了较强的主任务准确率，展示了在联邦学习模型聚合约束下持久且自适应的污染攻击能力。

ABSTRACT

Federated Learning (FL) is a new machine learning framework, which enables millions of participants to collaboratively train machine learning model without compromising data privacy and security. Due to the independence and confidentiality of each client, FL does not guarantee that all clients are honest by design, which makes it vulnerable to adversarial attack naturally. In this paper, we focus on dynamic backdoor attacks under FL setting, where the goal of the adversary is to reduce the performance of the model on targeted tasks while maintaining a good performance on the main task, current existing studies are mainly focused on static backdoor attacks, that is the poison pattern injected is unchanged, however, FL is an online learning framework, and adversarial targets can be changed dynamically by attacker, traditional algorithms require learning a new targeted task from scratch, which could be computationally expensive and require a large number of adversarial training examples, to avoid this, we bridge meta-learning and backdoor attacks under FL setting, in which case we can learn a versatile model from previous experiences, and fast adapting to new adversarial tasks with a few of examples. We evaluate our algorithm on different datasets, and demonstrate that our algorithm can achieve good results with respect to dynamic backdoor attacks. To the best of our knowledge, this is the first paper that focus on dynamic backdoor attacks research under FL setting.

研究动机与目标

• 为解决联邦学习中攻击目标随时间动态变化的研究空白，即动态后门攻击问题。
• 克服在联邦学习环境下针对每个新攻击目标均需从头开始微调的低效问题。
• 开发一种方法，使恶意客户端能够利用以往经验快速适应新的后门模式。
• 在成功执行针对性后门攻击的同时，保持主任务的高性能表现。

提出的方法

• 将元学习与联邦平均算法结合，实现对新后门任务的快速适应。
• 设计一种共生网络，使本地模型能够从以往攻击经验中学习，并泛化到新目标。
• 使用元优化更新规则（公式8）根据客户端更新调整全局模型参数，提升适应速度。
• 在客户端数据中注入动态污染模式（例如文本“KDD”），并在不同训练轮次中变化，以模拟真实世界中的适应能力。
• 对FedAvg算法进行轻微修改以集成元学习机制，同时保持与标准联邦学习框架的兼容性。
• 使用狄利克雷分布将数据集分配给各客户端，为恶意客户端分配约12%的污染数据。

实验结果

研究问题

• RQ1 如何在不从头训练的前提下，使联邦学习中的后门攻击适应动态变化的攻击目标？
• RQ2 元学习能否有效用于联邦学习中，实现仅用少量样本即可快速适应后门模型？
• RQ3 所提出的方法如何在实现高后门成功率的同时，保持主任务的高性能表现？
• RQ4 模型聚合对后门持久性有何影响，又该如何缓解？

主要发现

• 共生网络在MNIST数据集上实现了高达98.7%的后门攻击成功率，显著优于手动注入污染模式的方法。
• 由于元学习带来的适应能力，后门准确率在训练轮次中保持稳定且持久，即使在模型聚合后依然有效。
• 元学习方法在更少的训练轮次内即达到与FedAvg相当的后门性能，证明了其对新攻击模式的快速适应能力。
• 主任务准确率受到的影响极小，在CIFAR-10上超过94%，在Tiny ImageNet上超过85%，表明攻击具有高度隐蔽性。
• 该方法在第二轮训练中仅用少量更新即成功适应新的污染模式（如“KDD”文本注入），优于标准FedAvg。
• 理论分析证实，该框架满足三个核心目标：持久性、适应性与主任务性能。