[论文解读] FedCom: A Byzantine-Robust Local Model Aggregation Rule Using Data Commitment for Federated Learning

Bo Zhao, Peng Sun+3 more|arXiv (Cornell University)|Apr 16, 2021

Privacy-Preserving Technologies in Data参考文献 32被引用 6

一句话总结

FedCom 提出了一种拜占庭鲁棒的联邦学习框架，通过使用密码学数据承诺机制，在非独立同分布（non-IID）数据分布下抵御数据投毒和模型投毒攻击。通过比较不同客户端间数据承诺的 Wasserstein 距离，并评估本地模型在其承诺数据上的行为，FedCom 在无需公开验证数据集的情况下，实现了对最先进方法的优越鲁棒性。

ABSTRACT

Federated learning (FL) is a promising privacy-preserving distributed machine learning methodology that allows multiple clients (i.e., workers) to collaboratively train statistical models without disclosing private training data. Due to the characteristics of data remaining localized and the uninspected on-device training process, there may exist Byzantine workers launching data poisoning and model poisoning attacks, which would seriously deteriorate model performance or prevent the model from convergence. Most of the existing Byzantine-robust FL schemes are either ineffective against several advanced poisoning attacks or need to centralize a public validation dataset, which is intractable in FL. Moreover, to the best of our knowledge, none of the existing Byzantine-robust distributed learning methods could well exert its power in Non-Independent and Identically distributed (Non-IID) data among clients. To address these issues, we propose FedCom, a novel Byzantine-robust federated learning framework by incorporating the idea of commitment from cryptography, which could achieve both data poisoning and model poisoning tolerant FL under practical Non-IID data partitions. Specifically, in FedCom, each client is first required to make a commitment to its local training data distribution. Then, we identify poisoned datasets by comparing the Wasserstein distance among commitments submitted by different clients. Furthermore, we distinguish abnormal local model updates from benign ones by testing each local model's behavior on its corresponding data commitment. We conduct an extensive performance evaluation of FedCom. The results demonstrate its effectiveness and superior performance compared to the state-of-the-art Byzantine-robust schemes in defending against typical data poisoning and model poisoning attacks under practical Non-IID data distributions.

研究动机与目标

• 解决现有拜占庭鲁棒联邦学习方案对能规避统计异常值检测的高级投毒攻击的脆弱性。
• 克服基于贡献的聚合规则中对集中式公开验证数据集的不切实际要求。
• 在现实的非独立同分布数据分布下实现鲁棒的模型聚合，其中客户端数据异构且重叠极少。
• 开发一种验证数据完整性和模型行为的防御机制，而无需暴露私有训练数据。
• 在单一统一框架中，利用密码学承诺原语同时实现对数据投毒和模型投毒的容错。

提出的方法

• 每个客户端通过计算其本地训练数据中特征聚类的平均值来生成数据承诺，从而在保护隐私的同时实现可验证的数据分布表示。
• 通过计算客户端之间数据承诺的 Wasserstein 距离来检测投毒数据集，识别出与多数显著偏离的异常值。
• 通过在其对应的数据承诺上测试本地模型更新的行为来验证模型更新，基于其与承诺数据的一致性来区分良性更新与恶意更新。
• 应用行为感知聚合规则，仅选择在其承诺数据上表现出一致且准确行为的模型参与全局模型聚合。
• 该框架利用密码学承诺的特性实现盲验证，确保数据和模型完整性，同时不泄露敏感信息。
• 该方法假设少于 (n−2)/2 个客户端为拜占庭客户端，从而确保对合谋攻击和 Sybil 攻击的弹性。

实验结果

研究问题

• RQ1 一个拜占庭鲁棒的联邦学习框架是否能在不依赖公开验证数据集的情况下，同时抵御数据投毒和模型投毒攻击？
• RQ2 在非独立同分布数据划分下，所提出的数据显示承诺机制在检测投毒数据分布方面的有效性如何？
• RQ3 在非独立同分布环境下，对承诺数据的行为评估是否能可靠地区分恶意本地模型更新与良性更新？
• RQ4 在现实的非独立同分布数据分布下，FedCom 与最先进拜占庭鲁棒聚合规则相比表现如何？
• RQ5 FedCom 在多大程度上能抵抗那些精心设计的高级攻击，这些攻击使模型在统计上接近良性模型，从而规避基于距离的检测？

主要发现

• FedCom 通过比较数据承诺之间的 Wasserstein 距离，成功检测并排除了投毒数据分布，即使攻击被设计为模仿良性数据分布亦然。
• 行为感知模型聚合机制有效识别并拒绝了在承诺数据上行为偏离预期的恶意本地模型更新。
• FedCom 在非独立同分布数据条件下，优于最先进方案（如 Krum、Bulyan、Trimmed Mean 和 Zeno），在抵御数据投毒和模型投毒攻击方面表现更优。
• 即使多达 (n−2)/2 个客户端为拜占庭客户端，该框架仍能保持高全局模型准确率和快速收敛速度，展现出强大的鲁棒性。
• FedCom 消除了对公开验证数据集的需求，使其在数据隐私至关重要的现实联邦学习部署中更具实用性。
• 实验结果证实，FedCom 对能规避传统基于距离检测的高级攻击具有鲁棒性，这些攻击通过使模型与良性模型的统计偏差极小来实现隐蔽。