[论文解读] ESMFL: Efficient and Secure Models for Federated Learning

Sheng Lin, Chenghong Wang+4 more|arXiv (Cornell University)|Sep 3, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用 6

一句话总结

ESMFL 提出了一种隐私保护的联邦学习框架，利用英特尔 SGX 实现安全的模型聚合，并结合权重剪枝以降低通信开销。通过将基于 ADMM 的剪枝与 SGX 保护的飞地（enclave）相结合，该方法在 MNIST 上实现了高达 87× 的模型压缩，且精度损失极小，通信量减少 48.78%，MNIST 上的总训练时间减少 2.4 倍，CIFAR-10 上减少 1.8 倍。

ABSTRACT

Nowadays, Deep Neural Networks are widely applied to various domains. However, massive data collection required for deep neural network reveals the potential privacy issues and also consumes large mounts of communication bandwidth. To address these problems, we propose a privacy-preserving method for the federated learning distributed system, operated on Intel Software Guard Extensions, a set of instructions that increase the security of application code and data. Meanwhile, the encrypted models make the transmission overhead larger. Hence, we reduce the commutation cost by sparsification and it can achieve reasonable accuracy with different model architectures.

研究动机与目标

• 解决因大模型传输和梯度泄露导致的联邦学习中高通信开销和隐私风险问题。
• 在不降低模型精度的前提下，减少联邦学习中的通信开销，尤其适用于资源受限的边缘设备。
• 通过消除基于噪声的差分隐私机制来增强联邦学习中的数据隐私，后者会降低模型性能。
• 通过结构化权重剪枝实现极端的模型压缩，同时在独立同分布（IID）和非独立同分布（non-IID）数据设置下保持高精度。
• 通过最小化昂贵的飞地调用（ECALL/OCALL）并加速本地训练与聚合过程，优化端到端训练时间。

提出的方法

• 集成英特尔软件保护扩展（Intel Software Guard Extensions, SGX），构建可信执行环境（飞地），用于安全的模型聚合与密钥管理。
• 采用基于 ADMM 的剪枝算法并结合自适应正则化，以高效训练稀疏模型并保持精度。
• 使用 CSR（压缩稀疏行）格式在传输前对模型权重进行压缩，从而减少通信量。
• 在客户端对模型更新进行加密，并通过远程认证实现安全的密钥分发，以确保数据机密性。
• 通过操作批处理和优化客户端与云服务提供商（CSP）之间的数据传输，最小化 SGX 中 ECall 和 OCall 的开销。
• 在 SGX 飞地中执行全局模型聚合，防止模型参数或梯度被篡改或未授权访问。

实验结果

研究问题

• RQ1 权重剪枝能否有效集成到 SGX 保护的联邦学习中，在不牺牲模型精度的前提下降低通信成本？
• RQ2 与基线方法相比，所提出的基于 ADMM 的正则化方法在联邦剪枝中如何提升收敛速度和稀疏性？
• RQ3 在非独立同分布（non-IID）数据上，模型压缩在多大程度上能减少联邦学习中的通信开销，同时保持性能？
• RQ4 SGX 基于的安全机制对端到端训练时间有何影响，特别是 ECall 和 OCall 的延迟？
• RQ5 在相同剪枝率下，ESMFL 与噪声增强的联邦学习在精度和通信效率方面相比如何？

主要发现

• 在 LeNet-5 与 MNIST 上，ESMFL 实现了 98.78% 的测试精度，模型压缩率达 9.99×，在非 IID 数据上达到 97.60% 的精度，通信量减少 34.85%，总训练时间减少 1.8 倍。
• 在 MNIST 上实现 87× 压缩时，ESMFL 相较于非压缩联邦学习，总训练时间减少 2.4 倍，通信成本降低 48.78%。
• 在 CIFAR-10 上的 MobileNetV2 模型中，ESMFL 实现了 85.40% 的精度（压缩率 4.95×），在非 IID 数据上达到 81.66% 的精度，通信量减少 15.85%，训练时间减少 1.2 倍。
• 在 CIFAR-10 上实现 8.7× 压缩时，ESMFL 将通信成本降低 31.3%，总耗时减少 1.8 倍，优于基线方法。
• 在相同稀疏度水平下，ESMFL 的精度高于掩码剪枝方法——例如，在非 IID CIFAR-10 上，79.8% 稀疏度下精度达 81.66%，而掩码剪枝仅为 80.44%。
• 对于更大的模型（如 MobileNetV2），ECALL 和 OCALL 的耗时成为关键性能瓶颈，对这些操作的优化显著提升了整体性能。