[论文解读] CodedPaddedFL and CodedSecAgg: Straggler Mitigation and Secure Aggregation in Federated Learning

Reent Schlegel, Siddhartha Kumar+2 more|arXiv (Cornell University)|Dec 16, 2021

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了 CodedPaddedFL 和 CodedSecAgg 两种新型联邦学习方案，利用编码理论在设备间引入冗余，实现无需客户端漂移的慢速设备（straggler）缓解。在 MNIST 数据集上，CodedPaddedFL 在达到 95% 准确率时相比传统联邦学习实现 18 倍加速；CodedSecAgg 在速度提升方面相比 LightSecAgg 最高达 18.7 倍，且对模型反演攻击具有更强的安全防护能力。

ABSTRACT

We present two novel federated learning (FL) schemes that mitigate the effect of straggling devices by introducing redundancy on the devices' data across the network. Compared to other schemes in the literature, which deal with stragglers or device dropouts by ignoring their contribution, the proposed schemes do not suffer from the client drift problem. The first scheme, CodedPaddedFL, mitigates the effect of stragglers while retaining the privacy level of conventional FL. It combines one-time padding for user data privacy with gradient codes to yield straggler resiliency. The second scheme, CodedSecAgg, provides straggler resiliency and robustness against model inversion attacks and is based on Shamir's secret sharing. We apply CodedPaddedFL and CodedSecAgg to a classification problem. For a scenario with 120 devices, CodedPaddedFL achieves a speed-up factor of 18 for an accuracy of 95% on the MNIST dataset compared to conventional FL. Furthermore, it yields similar performance in terms of latency compared to a recently proposed scheme by Prakash et al. without the shortcoming of additional leakage of private data. CodedSecAgg outperforms the state-of-the-art secure aggregation scheme LightSecAgg by a speed-up factor of 6.6-18.7 for the MNIST dataset for an accuracy of 95%.

研究动机与目标

• 解决因忽略慢速或掉线设备而引起的联邦学习中客户端漂移问题。
• 设计抗慢速设备的联邦学习方案，即使在非独立同分布数据和设备延迟存在的情况下，也能保证收敛至全局最优解。
• 将安全聚合与抗慢速设备机制结合，防止模型反演攻击。
• 在保持数据隐私和模型准确率的前提下，降低通信和延迟开销。
• 确保在大规模异构设备网络中的可扩展性与鲁棒性。

提出的方法

• CodedPaddedFL 将一次性填充用于数据隐私保护，并结合梯度编码技术，利用设备间冗余数据恢复慢速设备的更新。
• CodedSecAgg 使用 Shamir 的秘密共享机制对本地模型更新进行编码，确保服务器仅能获取梯度之和，从而防止模型反演攻击。
• 两种方案均通过在设备上对数据进行编码引入冗余，使中心服务器即使在部分设备运行缓慢或失效的情况下，也能从子集设备中重构全局模型更新。
• 通过设备分组降低初始通信负载，虽轻微影响抗慢速设备效率，但显著降低整体延迟。
• 方案通过核嵌入技术设计为可兼容非线性问题，扩展了其在非线性模型中的适用范围。
• 通过加法掩码和随机种子的秘密共享实现安全聚合，可在不泄露个体贡献的前提下恢复缺失更新。

实验结果

研究问题

• RQ1 基于编码的设备数据冗余是否能在不引发客户端漂移的情况下缓解联邦学习中的慢速设备影响？
• RQ2 将一次性填充与梯度编码结合，在非独立同分布数据环境下对隐私保护与收敛性有何影响？
• RQ3 在抗慢速设备编码中，秘密共享与安全聚合的集成程度如何，能否有效防止模型反演攻击？
• RQ4 设备分组如何影响通信负载与抗慢速设备性能之间的权衡？
• RQ5 在高慢速设备率的大规模网络中，所提方案的可扩展性如何？

主要发现

• 在 120 台设备的 MNIST 数据集上，CodedPaddedFL 在达到 95% 准确率时相比传统联邦学习实现 18 倍加速，且无额外数据泄露。
• 在 MNIST 上，CodedSecAgg 相比最先进的 LightSecAgg 方案，速度提升因子在 6.6 至 18.7 倍之间，具体取决于共谋代理数量。
• 在 1000 台设备的网络中，当仅存在一个恶意代理时，CodedSecAgg 相比 LightSecAgg 实现 38.9 倍加速，展现出强大的可扩展性。
• 在 1000 台设备下，CodedSecAgg 安全聚合带来的额外延迟成本仅为 CodedPaddedFL 的 15%，表明其开销随规模增大而趋于平缓。
• 即使在共谋代理数量较高时，CodedSecAgg 仍保持鲁棒性：当 120 台设备中有 60 台共谋时，仍实现 6.6 倍加速。
• 两种方案均能收敛至全局最优解且避免客户端漂移，而其他丢弃慢速设备更新的方案则不具备此特性，因此在非独立同分布数据下更具可靠性。