[论文解读] FedVal: Different good or different bad in federated learning

Viktor Valadi, Xinchi Qiu+3 more|arXiv (Cornell University)|Jun 6, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

FedVal 是一种新颖的联邦学习聚合方法，可在不依赖额外客户端数据的情况下，增强对中毒攻击的鲁棒性并提升不同人口群体间的公平性。它利用服务器端的验证集，基于多维性能动态加权客户端更新，即使在 80% 的客户端为恶意的情况下，仍实现了最先进水平的结果，并将代表性不足群体的召回率从 19% 提升至 50%。

ABSTRACT

Federated learning (FL) systems are susceptible to attacks from malicious actors who might attempt to corrupt the training model through various poisoning attacks. FL also poses new challenges in addressing group bias, such as ensuring fair performance for different demographic groups. Traditional methods used to address such biases require centralized access to the data, which FL systems do not have. In this paper, we present a novel approach FedVal for both robustness and fairness that does not require any additional information from clients that could raise privacy concerns and consequently compromise the integrity of the FL system. To this end, we propose an innovative score function based on a server-side validation method that assesses client updates and determines the optimal aggregation balance between locally-trained models. Our research shows that this approach not only provides solid protection against poisoning attacks but can also be used to reduce group bias and subsequently promote fairness while maintaining the system's capability for differential privacy. Extensive experiments on the CIFAR-10, FEMNIST, and PUMS ACSIncome datasets in different configurations demonstrate the effectiveness of our method, resulting in state-of-the-art performances. We have proven robustness in situations where 80% of participating clients are malicious. Additionally, we have shown a significant increase in accuracy for underrepresented labels from 32% to 53%, and increase in recall rate for underrepresented features from 19% to 50%.

研究动机与目标

• 解决联邦学习中模型和数据中毒攻击的双重鲁棒性挑战以及公平性问题，同时不损害隐私。
• 克服现有方法需要集中访问数据或在高比例客户端恶意行为下失效的局限性。
• 设计一种与差分隐私技术（如范数裁剪和噪声注入）兼容的隐私保护聚合机制。
• 在非独立同分布（non-IID）和有偏数据分布下，提升代表性不足群体的模型性能，尤其在公平性关键的应用中。
• 开发一种可扩展的、自适应的聚合策略，利用最少的服务器端验证数据，动态评估客户端贡献。

提出的方法

• 基于服务器端验证引入一个评分函数，从准确性、召回率等多维性能指标评估客户端更新。
• 通过比较每个客户端在验证集上的表现与所有客户端的平均表现，计算客户端特定的权重。
• 采用动态聚合规则，优先考虑在各维度上表现均衡的客户端，降低恶意或数据偏移客户端的影响。
• 将聚合形式化为加权平均，其中权重来自归一化的性能评分，从而最小化异常值和中毒更新的影响。
• 将评分函数扩展以包含公平性指标（如代表性不足类别的召回率），实现在聚合过程中缓解偏差。
• 通过在聚合前对模型更新应用范数裁剪和噪声注入，确保与差分隐私的兼容性。

Figure 1 : Illustration of FL in centralized setting: model parameters are sent back and forth between a server and clients.

实验结果

研究问题

• RQ1 仅通过服务器端验证机制，是否可以在不访问原始客户端数据的情况下，提升联邦学习对大规模中毒攻击的鲁棒性？
• RQ2 在非独立同分布的联邦设置下，动态聚合策略在多大程度上可减少群体偏差并提升代表性不足人口群体的公平性？
• RQ3 在极端客户端被攻破的情况下（如 80% 的客户端为恶意），FedVal 的表现如何？
• RQ4 所提出的方法在结合噪声注入和范数裁剪等差分隐私技术时，是否仍能保持高性能？
• RQ5 在多种数据集上，FedVal 与最先进聚合器（如 FedAvg、FedProx、LFR、multi-Krum）相比，在准确性、鲁棒性和公平性方面表现如何？

主要发现

• 当 80% 的客户端为恶意时，FedVal 仍能实现收敛，显著优于 multi-Krum 和 LFR，后者在 40% 恶意客户端时即已失效。
• 在 20% 恶意客户端的后门中毒攻击下，FedVal 保持了稳定性能，而 multi-Krum 的性能下降至低于 FedAvg 水平。
• 在 CIFAR-10 数据集上，FedVal 有效缓解了数据分布偏移导致的性能下降，在非独立同分布设置下优于其他方法。
• 在 PUMS ACSIncome 数据集上，FedVal 将代表性不足群体的召回率从 FedAvg 的 19% 提升至 50%，展现出显著的公平性改进。
• 在 FEMNIST 数据集上，FedVal 将代表性不足标签的准确率从 32% 提升至 53%，表明其在少数类上具有更强的泛化能力。
• 该方法与差分隐私兼容，在保持隐私保障的同时，同步提升了鲁棒性与公平性。

Figure 2 : Toy example of a federated learning situation with four clients being aggregated, two majority clients with skewed data, one client with information that is missing in the majority of clients, and one malicious client.