[论文解读] Federated Learning in Adversarial Settings

Raouf Kerkouche, Gergely Ács+1 more|arXiv (Cornell University)|Oct 15, 2020

Privacy-Preserving Technologies in Data参考文献 35被引用 5

一句话总结

本文提出 SignFed，一种通过基于符号的量化仅传输每个模型参数的 1 个比特，从而实现带宽高效联邦学习的方案，增强了对后门攻击和模型退化攻击的鲁棒性。此外，本文还引入了 DP-SignFed，一种差分隐私变体，可确保客户端级别的隐私，但揭示了一个权衡：更强的隐私保护会因噪声掩盖恶意更新而降低对安全威胁的鲁棒性。

ABSTRACT

Federated Learning enables entities to collaboratively learn a shared prediction model while keeping their training data locally. It prevents data collection and aggregation and, therefore, mitigates the associated privacy risks. However, it still remains vulnerable to various security attacks where malicious participants aim at degrading the generated model, inserting backdoors, or inferring other participants' training data. This paper presents a new federated learning scheme that provides different trade-offs between robustness, privacy, bandwidth efficiency, and model accuracy. Our scheme uses biased quantization of model updates and hence is bandwidth efficient. It is also robust against state-of-the-art backdoor as well as model degradation attacks even when a large proportion of the participant nodes are malicious. We propose a practical differentially private extension of this scheme which protects the whole dataset of participating entities. We show that this extension performs as efficiently as the non-private but robust scheme, even with stringent privacy requirements but are less robust against model degradation and backdoor attacks. This suggests a possible fundamental trade-off between Differential Privacy and robustness.

研究动机与目标

• 应对对抗环境中对安全、私密且高效的联邦学习日益增长的需求。
• 通过极端量化减少模型更新带宽，缓解联邦学习中的高通信成本。
• 在存在恶意客户端的情况下，提升对模型退化和后门攻击的鲁棒性。
• 在不损害模型效用的前提下，提供可证明的客户端级别差分隐私。
• 探究差分隐私与鲁棒性之间在联邦学习中的根本权衡。

提出的方法

• 通过仅传输模型更新的符号来将 signSGD 适配到联邦学习，使带宽降低 32 倍。
• 每轮采用随机客户端采样，以提高鲁棒性、减少上游通信量，并通过不确定性增强隐私。
• 允许每个客户端在每轮执行多次本地 SGD 步骤，相比单步 signSGD，可提升收敛速度与效率。
• 引入离散化且分布式的高斯机制，以更低的通信成本生成噪声，实现差分隐私。
• 设计一种差分隐私扩展（DP-SignFed），通过向模型更新添加噪声，在保护个体数据的同时保持全局模型效用。
• 在标准假设下分析收敛速率，并为 SignFed 和 DP-SignFed 提供理论边界证明。

实验结果

研究问题

• RQ1 通过基于符号的更新实现极端量化，是否能显著降低联邦学习中的通信开销，同时保持模型准确率？
• RQ2 基于符号的量化在对抗性客户端环境下，对模型退化和后门攻击的鲁棒性有何影响？
• RQ3 在不降低模型性能的前提下，差分隐私在基于符号的联邦学习框架中可集成到何种程度？
• RQ4 在存在恶意客户端的情况下，差分隐私与鲁棒性之间的权衡是什么？
• RQ5 离散化噪声生成机制是否能降低差分隐私联邦学习中的通信成本，同时不牺牲隐私保障？

主要发现

• SignFed 通过每个参数 1 比特的量化，将带宽降低 32 倍，同时实现与标准联邦学习（StdFed）相当的模型准确率。
• 即使高达 50% 的客户端为恶意，SignFed 在对抗后门攻击和模型退化攻击方面仍表现出优于 StdFed 的优越鲁棒性。
• DP-SignFed 在 ε = 1 的严格隐私约束下，实现了可证明的客户端级别差分隐私，且模型准确率接近非私有的 SignFed。
• 差分隐私变体（DP-SignFed）的通信成本比 StdFed 高 30–40%，但仍比标准私有联邦学习高出约 20 倍的效率。
• 观察到一个根本性权衡：更强的差分隐私会增加噪声的均匀性，使聚合模型更容易受到恶意客户端通过忽略噪声进行操纵的影响。
• DP-SignFed 的收敛速率包含一个额外项 O(n^{3/2}σ / √(T_cl CN))，量化了因噪声注入而产生的‘隐私成本’。