[论文解读] Free-rider Attacks on Model Aggregation in Federated Learning

Yann Fraboni, D. Acosta+1 more|arXiv (Cornell University)|Jun 21, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用 12

一句话总结

本文首次对联邦学习中的搭便车攻击进行了理论与实验分析，其中客户端逃避数据贡献，但仍能接收全局模型。研究证明，仅通过在每轮返回全局模型等简单策略，即可成功收敛至公平客户端的聚合模型，并提出了一种通过随机参数更新实现的伪装搭便车攻击，该方法在保持隐蔽性的同时实现收敛。

ABSTRACT

Free-rider attacks against federated learning consist in dissimulating participation to the federated learning process with the goal of obtaining the final aggregated model without actually contributing with any data. This kind of attacks is critical in sensitive applications of federated learning, where data is scarce and the model has high commercial value. We introduce here the first theoretical and experimental analysis of free-rider attacks on federated learning schemes based on iterative parameters aggregation, such as FedAvg or FedProx, and provide formal guarantees for these attacks to converge to the aggregated models of the fair participants. We first show that a straightforward implementation of this attack can be simply achieved by not updating the local parameters during the iterative federated optimization. As this attack can be detected by adopting simple countermeasures at the server level, we subsequently study more complex disguising schemes based on stochastic updates of the free-rider parameters. We demonstrate the proposed strategies on a number of experimental scenarios, in both iid and non-iid settings. We conclude by providing recommendations to avoid free-rider attacks in real world applications of federated learning, especially in sensitive domains where security of data and models is critical.

研究动机与目标

• 基于模型平均（如 FedAvg、FedProx）研究联邦学习中搭便车攻击的可行性与成功条件。
• 将搭便车行为形式化为随机过程，推导理论收敛保证。
• 评估搭便车者对联邦学习收敛速度与最终模型性能的影响，涵盖独立同分布（iid）与非独立同分布（non-iid）设置。
• 提出并分析可规避标准异常值检测防御机制的伪装搭便车策略。
• 为敏感且数据稀缺的应用场景提供防御搭便车攻击的实际建议。

提出的方法

• 将联邦学习重新表述为建模迭代过程中参数演化的随机过程。
• 利用随机梯度下降（SGD）的连续时间近似，推导搭便车者收敛的理论条件。
• 通过让攻击者在每轮均返回全局模型而不进行本地更新，实现简单搭便车。
• 设计基于全局模型随机扰动的伪装搭便车策略，以模仿合法客户端行为。
• 在多个数据集上使用 FedAvg 和 FedProx 进行实验，自由率变化（如 50%、90%）。
• 通过分析收敛速度、损失轨迹与最终准确率，评估攻击成功率与模型质量。

实验结果

研究问题

• RQ1 在 FedAvg/FedProx 中，搭便车者在何种理论条件下可收敛至公平客户端的全局模型？
• RQ2 搭便车者的存在如何影响联邦学习的收敛速度与最终性能？
• RQ3 通过随机参数更新实现的伪装搭便车策略，能否规避标准异常值检测机制？
• RQ4 自由率变化（如 50% 与 90%）对模型收敛与准确率的影响如何？
• RQ5 非独立同分布（non-iid）数据分布如何影响搭便车攻击的有效性与可检测性？

主要发现

• 简单搭便车——即每轮均返回全局模型——可保证收敛至公平客户端聚合的模型，理论分析已证明此结论。
• 当搭便车者占比不超过 50% 时，收敛速度仅比公平联邦学习略慢，最终模型准确率也相当。
• 当搭便车者占比达 90% 时，收敛速度变得极慢，但仍能达到与公平客户端训练波动范围内的准确率。
• 损失轨迹显示在客户端数量较少时常见的‘峰值’现象，但因参数平均带来的正则化效应，搭便车场景下的峰值更小。
• 尽管训练过程中未完全收敛，最终模型质量仍与公平客户端聚合结果兼容，表明平均过程具有鲁棒性。
• 搭便车攻击无法被标准异常值检测机制识别，因为其更新与合法更新无法区分。