[论文解读] Data Poisoning Attacks on Federated Machine Learning

Gan Sun, Yang Cong+3 more|arXiv (Cornell University)|Apr 19, 2020

Privacy-Preserving Technologies in Data参考文献 19被引用 14

一句话总结

该论文提出AT2FL，一种面向联邦多任务学习中数据 poisoning 攻击的新型系统感知优化方法，将最优攻击建模为双层规划问题，以计算污染数据的隐式梯度。实验表明，AT2FL在真实世界数据集上能有效降低模型性能，甚至可通过通信协议实现间接攻击，凸显了联邦学习系统的严重漏洞。

ABSTRACT

Federated machine learning which enables resource constrained node devices (e.g., mobile phones and IoT devices) to learn a shared model while keeping the training data local, can provide privacy, security and economic benefits by designing an effective communication protocol. However, the communication protocol amongst different nodes could be exploited by attackers to launch data poisoning attacks, which has been demonstrated as a big threat to most machine learning models. In this paper, we attempt to explore the vulnerability of federated machine learning. More specifically, we focus on attacking a federated multi-task learning framework, which is a federated learning framework via adopting a general multi-task learning framework to handle statistical challenges. We formulate the problem of computing optimal poisoning attacks on federated multi-task learning as a bilevel program that is adaptive to arbitrary choice of target nodes and source attacking nodes. Then we propose a novel systems-aware optimization method, ATTack on Federated Learning (AT2FL), which is efficiency to derive the implicit gradients for poisoned data, and further compute optimal attack strategies in the federated machine learning. Our work is an earlier study that considers issues of data poisoning attack for federated learning. To the end, experimental results on real-world datasets show that federated multi-task learning model is very sensitive to poisoning attacks, when the attackers either directly poison the target nodes or indirectly poison the related nodes by exploiting the communication protocol.

研究动机与目标

• 研究联邦多任务学习在通信协议被利用情况下面临的数据 poisoning 攻击的脆弱性。
• 将最优 poisoning 攻击建模为可适应任意目标节点与源节点的双层优化问题。
• 通过设计新型优化框架，解决联邦学习中的系统级挑战，如高通信成本和慢速节点问题。
• 通过实证验证所提攻击策略在真实世界数据集上对随机基线的优越性。

提出的方法

• 将联邦多任务学习中的数据 poisoning 攻击建模为双层优化问题，其中上层优化污染数据，下层训练全局模型。
• 提出AT2FL，一种新型系统感知优化方法，可高效计算源节点中污染数据的隐式梯度。
• 在双层框架中采用损失函数的对偶形式（最小二乘损失与合页损失），以建模回归与分类任务。
• 在式(4)中采用步长自适应策略，以在攻击优化过程中平衡梯度信号强度与收敛稳定性。
• 通过隐式微分推导梯度，实现通过模型训练过程的端到端反向传播。
• 将攻击策略应用于目标节点的直接污染以及通过通信协议影响相关节点的间接污染。

实验结果

研究问题

• RQ1 能否通过利用节点之间的通信协议，在联邦多任务学习中有效实施数据 poisoning 攻击？
• RQ2 如何将最优 poisoning 攻击建模为可适应任意目标节点与源节点的双层优化问题？
• RQ3 高通信成本与慢速节点等系统级挑战在多大程度上影响联邦学习中 poisoning 攻击的可行性与性能？
• RQ4 攻击更新规则中的步长对 poisoning 策略的收敛性与有效性有何影响？
• RQ5 通过仅污染部分节点从而影响未被直接攻击但存在相关性的节点的间接攻击，能否显著降低模型性能？

主要发现

• 所提出的AT2FL方法在EndAD与Human Activity Recognition数据集上仅经过几次迭代即成功收敛至局部最优，证明了算法的稳定性和有效性。
• 随着步长η增大，攻击性能提升，所有攻击策略均优于非攻击基线，且在较高η值下性能趋于稳定。
• 在EndAD与Human Activity数据集上，AT2FL导致分类错误率显著上升，表明模型性能被有效降级。
• 基于通过相关节点实现的间接污染攻击策略导致显著的性能下降，证明通信协议可被用于远程攻击。
• 下层问题的原始次优性随迭代次数减少，证实优化过程正收敛至有意义的解。
• 在Landmine与Parkinson-Total数据集上的实验表明，AT2FL持续导致性能下降，验证了该攻击在多样化真实世界数据分布下的鲁棒性。