[论文解读] Attack-Resistant Federated Learning with Residual-based Reweighting

Shuhao Fu, Chulin Xie+2 more|arXiv (Cornell University)|Dec 24, 2019

Privacy-Preserving Technologies in Data参考文献 32被引用 58

一句话总结

本文提出一种基于残差的重新加权聚合方法用于联邦学习，结合重复中位数回归与 IRLS 风格加权，以在非IID设置下防御标签翻转和后门攻击，并给出理论保证。

ABSTRACT

Federated learning has a variety of applications in multiple domains by utilizing private training data stored on different devices. However, the aggregation process in federated learning is highly vulnerable to adversarial attacks so that the global model may behave abnormally under attacks. To tackle this challenge, we present a novel aggregation algorithm with residual-based reweighting to defend federated learning. Our aggregation algorithm combines repeated median regression with the reweighting scheme in iteratively reweighted least squares. Our experiments show that our aggregation algorithm outperforms other alternative algorithms in the presence of label-flipping and backdoor attacks. We also provide theoretical analysis for our aggregation algorithm.

研究动机与目标

• 在对抗性攻击和非IID数据下推动鲁棒的联邦学习聚合。
• 开发利用残差和鲁棒回归的抗攻击聚合算法。
• 提供所提方法及其鲁棒性保证的理论分析。
• 在多个数据集和任务领域展示经验鲁棒性。

提出的方法

• 使用重新加权的聚合，每个本地模型以由残差决定的权重贡献到鲁棒回归线。
• 通过重复中位数估计量估计鲁棒的本地模型回归，得到回归线 y = beta0 + beta1 x。
• 计算残差并使用 IRLS 风格的缩放归一化以导出参数置信分数。
• 通过聚合参数置信分数来为本地模型分配权重，并进行极值修正以防止异常值主导。
• 使用推导出的模型权重将全局模型计算为本地模型的加权和。
• 给出理论界限，表明在被污染参与者存在时全局模型误差是受控的。

实验结果

研究问题

• RQ1 基于残差的重新加权机制是否能在非IID设置下提升对标签翻转和后门攻击的鲁棒性？
• RQ2 鲁棒回归估计量（如重复中位数）和 IRLS 启发的加权如何影响聚合质量和对攻击的鲁棒性？
• RQ3 在对抗性参与下，所提出的抗攻击聚合的理论保证是什么？

主要发现

• 提出的聚合在非IID联邦学习下显著减轻了被攻击模型的影响。
• 在 MNIST、CIFAR-10、Amazon Reviews 和 Lending Club 数据上的标签翻转和后门攻击实验中，该方法优于基线如 FedAvg、坐标中位数、修剪均值和 FoolsGold。
• 该方法将重复中位数回归与基于残差的重新加权结合，用以分配模型置信度，在不需要额外参考数据集的情况下提高鲁棒性。
• 理论分析提供在存在被污染的参与者时全局模型误差的界限。
• 极值修正和模型级加权有助于防止少量恶意更新支配全局模型。