[论文解读] Byzantine-Resilient Secure Federated Learning

Jinhyun So, Başak Güler+1 more|arXiv (Cornell University)|Jul 21, 2020

Privacy-Preserving Technologies in Data参考文献 39被引用 10

一句话总结

该论文提出了BREA，这是首个单服务器的拜占庭容错安全聚合框架，用于联邦学习，能够同时通过可验证秘密共享、随机量化和安全异常值检测，确保模型对恶意用户的鲁棒性以及用户隐私。即使在多达30%的拜占庭用户情况下，该框架仍能实现与标准联邦学习相当的收敛性能，并具备隐私和收敛性的理论保障。

ABSTRACT

Secure federated learning is a privacy-preserving framework to improve machine learning models by training over large volumes of data collected by mobile users. This is achieved through an iterative process where, at each iteration, users update a global model using their local datasets. Each user then masks its local model via random keys, and the masked models are aggregated at a central server to compute the global model for the next iteration. As the local models are protected by random masks, the server cannot observe their true values. This presents a major challenge for the resilience of the model against adversarial (Byzantine) users, who can manipulate the global model by modifying their local models or datasets. Towards addressing this challenge, this paper presents the first single-server Byzantine-resilient secure aggregation framework (BREA) for secure federated learning. BREA is based on an integrated stochastic quantization, verifiable outlier detection, and secure model aggregation approach to guarantee Byzantine-resilience, privacy, and convergence simultaneously. We provide theoretical convergence and privacy guarantees and characterize the fundamental trade-offs in terms of the network size, user dropouts, and privacy protection. Our experiments demonstrate convergence in the presence of Byzantine users, and comparable accuracy to conventional federated learning benchmarks.

研究动机与目标

• 解决联邦学习中拜占庭容错与用户隐私之间的冲突需求。
• 设计一种单服务器框架，保护个体模型更新不被服务器访问，同时支持对恶意更新的检测。
• 在对抗性环境和用户掉线条件下，提供收敛性和隐私的理论保障。
• 在最多A个拜占庭用户和N−A个诚实用户存在的情况下，实现鲁棒训练，即使数据分布非独立同分布。
• 刻画网络规模、用户掉线与隐私保护之间的基本权衡。

提出的方法

• BREA使用随机量化将实值模型更新映射到有限域，以支持安全计算。
• 每个用户使用成对随机密钥对其量化后的本地更新执行可验证秘密共享。
• 服务器在明文状态下计算秘密共享之间的成对距离，以检测异常值，利用基于几何中位数的异常值检测方法。
• 通过可验证协议安全地执行异常值检测，确保一致性并防止操纵。
• 仅在移除恶意更新后才重建全局模型，从而保护个体贡献的隐私。
• 该框架将安全聚合与鲁棒梯度下降相结合，在对抗性条件下保持收敛性。

实验结果

研究问题

• RQ1 单服务器联邦学习系统能否同时实现拜占庭容错和强用户隐私？
• RQ2 如何在不向服务器暴露个体模型更新的情况下，将安全聚合与异常值检测相结合？
• RQ3 在可容忍的拜占庭用户数量、用户掉线与隐私保护之间，存在何种基本权衡？
• RQ4 在非独立同分布数据分布和不同水平的对抗性影响下，系统性能如何？
• RQ5 在对抗性条件下，该框架能否保持与标准联邦学习相当的收敛性和准确性？

主要发现

• 在MNIST数据集上，即使20%的用户为拜占庭用户，BREA仍能实现与FedAvg相当的测试准确率，且数据分布非独立同分布。
• 在CIFAR-10上，即使在30%拜占庭用户的情况下，BREA在无拜占庭用户时的准确率仍与FedAvg相当。
• 该框架在具有有界量化误差的随机梯度下降下，提供了理论收敛保障。
• 在明文状态下使用基于几何中位数的异常值检测，相比安全逐坐标中位数协议更具通信效率。
• 随机量化降低了模型更新的方差，且随着量化参数q的增大，性能持续提升。
• 系统可容忍最多A个拜占庭用户和N−A个诚实用户，隐私通过加法秘密共享和可验证一致性检查得以保障。