[论文解读] Byzantine-Robust and Privacy-Preserving Framework for FedML

Hanieh Hashemi, Yongqin Wang+2 more|arXiv (Cornell University)|May 5, 2021

Privacy-Preserving Technologies in Data参考文献 25被引用 13

一句话总结

本文通过利用可信执行环境（TEEs）和GPU加速的梯度编码，提出了一种统一的拜占庭容错且隐私保护的联邦学习框架。该框架在TEEs内实现安全私密的梯度聚合，同时将计算密集型的拜占庭检测任务卸载至GPU，采用噪声编码技术以保持相对距离关系，与仅使用TEEs的基线相比实现了超过6倍的加速，且具备可证明的信息理论隐私边界。

ABSTRACT

Federated learning has emerged as a popular paradigm for collaboratively training a model from data distributed among a set of clients. This learning setting presents, among others, two unique challenges: how to protect privacy of the clients' data during training, and how to ensure integrity of the trained model. We propose a two-pronged solution that aims to address both challenges under a single framework. First, we propose to create secure enclaves using a trusted execution environment (TEE) within the server. Each client can then encrypt their gradients and send them to verifiable enclaves. The gradients are decrypted within the enclave without the fear of privacy breaches. However, robustness check computations in a TEE are computationally prohibitive. Hence, in the second step, we perform a novel gradient encoding that enables TEEs to encode the gradients and then offloading Byzantine check computations to accelerators such as GPUs. Our proposed approach provides theoretical bounds on information leakage and offers a significant speed-up over the baseline in empirical evaluation.

研究动机与目标

• 解决联邦学习中数据隐私泄露与拜占庭客户端攻击的双重挑战。
• 实现在不向不受信的服务器或加速器暴露原始梯度的前提下，安全且私密的模型训练。
• 设计一种可扩展且高效的拜占庭容错机制，兼容可信硬件与加速器。
• 在保持实际部署中高性能的同时，提供信息泄露的理论边界。

提出的方法

• 客户端对其梯度进行加密并发送至基于TEE的参数服务器，以确保机密性。
• TEE使用加法高斯噪声对梯度进行混淆，从而实现安全地卸载至GPU。
• GPU对编码后的梯度执行成对距离计算以进行异常值检测，同时保持相对距离关系。
• TEE对计算出的距离进行解密和解码，以识别并排除拜占庭客户端。
• 提出一种新颖的噪声编码方案，确保信息泄露受噪声方差的限制，从而实现信息理论上的隐私保障。
• 该框架支持浮点梯度，并与标准深度学习模型（如MobileNet和EfficientNet）兼容。

实验结果

研究问题

• RQ1 如何在不依赖计算缓慢的密码原语的前提下，同时确保联邦学习中的隐私与鲁棒性？
• RQ2 我们能否设计一种梯度编码机制，使得在编码后的梯度上仍能实现准确的拜占庭检测，同时最小化信息泄露？
• RQ3 在TEEGPU流水线中使用噪声编码时，信息泄露的理论边界是什么？
• RQ4 所提出的卸载机制在性能上与完全在TEE内运行拜占庭检测相比如何？
• RQ5 该框架能否高效支持动态客户端参与与掉线情况？

主要发现

• 所提出的框架在训练时间上相比仅在TEE内执行拜占庭检测的基线实现了超过6倍的加速。
• 泄露的信息理论边界与信噪比的对数成正比，确保GPU对客户端数据的暴露最小化。
• 梯度编码保持了成对距离的相对关系（最多缩放常数因子），从而在不暴露原始梯度的前提下实现准确的异常值检测。
• 系统在(α,f)-拜占庭弹性模型下保持鲁棒性，当N ≥ 2f + 3时，可容忍最多f个拜占庭客户端。
• 执行时间主要由TEE内基于CPU的编码与加密操作主导，GPU计算与通信成本可忽略不计。
• 该框架在标准硬件上具备实际可部署性，支持浮点梯度与真实世界模型（如MobileNet和EfficientNet）。