[论文解读] Accelerating DNN Training in Wireless Federated Edge Learning Systems

Jinke Ren, Guanding Yu+1 more|arXiv (Cornell University)|May 23, 2019

Privacy-Preserving Technologies in Data参考文献 32被引用 10

一句话总结

本文提出了一种联合批量大小选择与通信资源分配框架，以加速无线联邦边缘学习（FEEL）系统中的深度神经网络（DNN）训练。通过引入一种新型学习效率度量指标，并求解凸优化问题，作者推导出闭式解，显著减少了训练时间并提升了模型精度，其性能在CPU和GPU场景下均通过大量实验得到验证。

ABSTRACT

Training task in classical machine learning models, such as deep neural networks, is generally implemented at a remote cloud center for centralized learning, which is typically time-consuming and resource-hungry. It also incurs serious privacy issue and long communication latency since a large amount of data are transmitted to the centralized node. To overcome these shortcomings, we consider a newly-emerged framework, namely federated edge learning, to aggregate local learning updates at the network edge in lieu of users' raw data. Aiming at accelerating the training process, we first define a novel performance evaluation criterion, called learning efficiency. We then formulate a training acceleration optimization problem in the CPU scenario, where each user device is equipped with CPU. The closed-form expressions for joint batchsize selection and communication resource allocation are developed and some insightful results are highlighted. Further, we extend our learning framework to the GPU scenario. The optimal solution in this scenario is manifested to have the similar structure as that of the CPU scenario, recommending that our proposed algorithm is applicable in more general systems. Finally, extensive experiments validate the theoretical analysis and demonstrate that the proposed algorithm can reduce the training time and improve the learning accuracy simultaneously.

研究动机与目标

• 解决基于中心化云平台的DNN训练在无线网络中面临的高通信延迟与隐私风险问题。
• 通过在资源受限条件下优化系统级性能，加速联邦边缘学习（FEEL）中的DNN训练。
• 提出一种新的性能度量指标——学习效率，用于联合评估训练速度与模型精度。
• 为CPU和GPU加速的边缘设备，推导出批量大小选择与上行链路时间/资源分配的闭式解。
• 通过大量仿真验证理论框架，证明其可显著减少训练时间并提升收敛性能。

提出的方法

• 利用一种新型学习效率度量指标，构建训练加速优化问题，以平衡全局损失衰减与端到端延迟。
• 基于Karush-Kuhn-Tucker（KKT）条件，推导出最优批量大小选择与上行链路时间分配的闭式表达式。
• 通过设备内存、通信带宽与总训练时间等约束建模系统，确保解的可行性。
• 将基于CPU的解决方案扩展至GPU场景，表明所提算法在结构上具有相似性与广泛适用性。
• 采用凸优化技术高效求解问题，支持在动态无线环境中实现实时部署。
• 通过仿真对比所提方法与基线策略在训练时间与精度方面的表现，验证方法有效性。

实验结果

研究问题

• RQ1 如何定义学习效率作为统一度量指标，以在FEEL系统中平衡训练速度与模型精度？
• RQ2 在基于CPU的FEEL系统中，如何实现批量大小与通信资源的最优联合分配以最小化训练时间？
• RQ3 所提出的优化框架如何推广至GPU加速的边缘设备？
• RQ4 在资源等量分配与无限内存条件下，最优训练效率的理论边界是什么？
• RQ5 系统在何种条件下运行于在线学习（批量大小=1）或全批量学习（批量大小=最大）模式？

主要发现

• 所提算法在大量仿真验证下显著减少了训练时间并提升了学习精度。
• 推导出最优批量大小选择策略的闭式解，表明其依赖于设备特定的计算速度、信道增益与延迟约束。
• 最优上行链路时间分配确保所有设备在总帧时长内完成模型聚合，避免空闲或资源超载时隙。
• CPU与GPU场景下的解结构保持一致，表明该算法在异构边缘设备中具有广泛适用性。
• 推导出最优学习效率的理论边界，表明最优值介于上界（资源等量分配）与下界（无限内存）之间。
• 分析表明，在数据受限区域（数据传输限制性能）中，增大批量大小无法提升学习效率，因为增加批量大小可改善损失衰减而不增加延迟。