[论文解读] Coded Computing for Federated Learning at the Edge

Saurav Prakash, Sagar Dhakal+3 more|arXiv (Cornell University)|Jul 7, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用 10

一句话总结

本文提出 CodedFedL，一种编码计算框架，通过利用随机傅里叶特征将学习任务转化为分布式线性回归，将原始仅适用于线性回归的编码联邦学习（CFL）扩展至非线性回归与分类任务。通过在客户端实现隐私保护的并行数据生成，并对负载分配进行解析优化，CodedFedL 在仅使用 10% 编码冗余的情况下，相较于非编码联邦学习，在 MNIST 上实现了最高达 2.7 倍的收敛速度提升。

ABSTRACT

Federated Learning (FL) is an exciting new paradigm that enables training a global model from data generated locally at the client nodes, without moving client data to a centralized server. Performance of FL in a multi-access edge computing (MEC) network suffers from slow convergence due to heterogeneity and stochastic fluctuations in compute power and communication link qualities across clients. A recent work, Coded Federated Learning (CFL), proposes to mitigate stragglers and speed up training for linear regression tasks by assigning redundant computations at the MEC server. Coding redundancy in CFL is computed by exploiting statistical properties of compute and communication delays. We develop CodedFedL that addresses the difficult task of extending CFL to distributed non-linear regression and classification problems with multioutput labels. The key innovation of our work is to exploit distributed kernel embedding using random Fourier features that transforms the training task into distributed linear regression. We provide an analytical solution for load allocation, and demonstrate significant performance gains for CodedFedL through experiments over benchmark datasets using practical network parameters.

研究动机与目标

• 为解决异构多接入边缘计算（MEC）网络中因慢速节点导致的延迟问题。
• 将原始仅限于标量输出线性回归的编码联邦学习（CFL）扩展至通用非线性及多输出分类/回归任务。
• 通过客户端的随机傅里叶特征映射与并行数据生成，实现隐私保护的计算冗余。
• 提出一种解析负载分配策略以实现最优慢速节点缓解，避免数值优化。
• 在实际网络条件下，基于真实世界数据集展示显著的收敛速度提升。

提出的方法

• 利用随机傅里叶特征进行核近似，将非线性学习任务转化为分布式线性回归。
• 通过随机特征与向量标签（如独热编码）的线性组合，在客户端生成编码并行数据，保护数据隐私。
• 在服务器端采用编码梯度聚合策略，结合非慢速客户端的更新与并行数据上的冗余服务端计算。
• 将负载分配问题建模为期望收益上的分段凹优化问题，可借助凸优化工具求解。
• 利用朗伯W函数推导出负载分配的闭式解，实现基于二分查找的高效优化。
• 在服务器端应用编码冗余以补偿慢速客户端，提升收敛速度，且无需数据共享。

实验结果

研究问题

• RQ1 CodedFedL 能否在保护数据隐私的前提下，扩展至非线性与多输出学习任务？
• RQ2 通过随机傅里叶特征进行核嵌入，如何使编码理论冗余适用于非线性模型？
• RQ3 在存在慢速客户端的情况下，最小化训练时间的最优负载分配策略是什么？
• RQ4 与数值方法相比，该解析负载分配策略在收敛速度与可扩展性方面表现如何？
• RQ5 在真实世界的边缘学习场景中，CodedFedL 相较于非编码联邦学习实现了多大的性能提升？

主要发现

• 在 MNIST 数据集上，CodedFedL 在仅使用 10% 编码冗余的情况下，相较于非编码基线，收敛时间提升 2.7 倍。
• 在 Fashion-MNIST 上，CodedFedL 在相同冗余度下实现了 2.37 倍的收敛时间加速。
• 基于朗伯W函数的解析负载分配策略支持高效优化，且随等待时间单调递增，确保收益随时间持续提升。
• 期望聚合收益函数为分段凹函数，可分解为标准凸优化技术可解的凸子问题。
• CodedFedL 通过近似全梯度聚合，即使在极低冗余度下仍能保持高模型精度。
• 该框架在异构 MEC 环境中有效缓解了慢速节点影响，在真实无线与计算约束条件下显著缩短了训练时间。