[论文解读] Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks

Zheng Lin, Guangyu Zhu+5 more|arXiv (Cornell University)|Mar 26, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了一种新型框架——高效并行切分学习（EPSL），通过并行化客户端训练并利用最后一层梯度聚合减少服务端计算，从而在资源受限的无线边缘网络中加速分布式训练。仿真结果表明，与非优化基线相比，EPSL可将每轮训练延迟降低高达50%，其显著优势源于子信道分配、功率控制与切分层选择的联合优化。

ABSTRACT

The increasingly deeper neural networks hinder the democratization of privacy-enhancing distributed learning, such as federated learning (FL), to resource-constrained devices. To overcome this challenge, in this paper, we advocate the integration of edge computing paradigm and parallel split learning (PSL), allowing multiple client devices to offload substantial training workloads to an edge server via layer-wise model split. By observing that existing PSL schemes incur excessive training latency and large volume of data transmissions, we propose an innovative PSL framework, namely, efficient parallel split learning (EPSL), to accelerate model training. To be specific, EPSL parallelizes client-side model training and reduces the dimension of local gradients for back propagation (BP) via last-layer gradient aggregation, leading to a significant reduction in server-side training and communication latency. Moreover, by considering the heterogeneous channel conditions and computing capabilities at client devices, we jointly optimize subchannel allocation, power control, and cut layer selection to minimize the per-round latency. Simulation results show that the proposed EPSL framework significantly decreases the training latency needed to achieve a target accuracy compared with the state-of-the-art benchmarks, and the tailored resource management and layer split strategy can considerably reduce latency than the counterpart without optimization.

研究动机与目标

• 解决现有切分学习框架在资源受限边缘设备中训练延迟高和通信开销大的问题。
• 克服传统切分学习与并行切分学习中顺序训练和过度数据交换的局限性。
• 通过联合优化子信道分配、功率控制与切分层选择，最小化无线边缘网络中的每轮训练延迟。
• 在计算与带宽资源有限的边缘设备上实现高效、隐私保护的AI训练。
• 开发一种对动态无线信道条件与设备异构性具有鲁棒性的实用解决方案。

提出的方法

• 提出EPSL，一种并行切分学习框架，通过逐层模型切分将大部分训练工作负载卸载至边缘服务器。
• 引入最后一层梯度聚合机制，降低激活梯度的维度，显著减少服务端计算与通信开销。
• 建立混合整数非线性规划问题，联合优化子信道分配、功率控制与切分层选择以实现延迟最小化。
• 采用块坐标下降（BCD）方法将复杂优化问题分解为四个子问题，实现高效求解。
• 实施一种贪婪子信道分配策略，优先调度慢速设备，以降低整体系统延迟。
• 在训练过程中采用固定层切分决策以确保稳定性并减少重新优化开销，经验证在信道变化下仍具鲁棒性。

实验结果

研究问题

• RQ1 并行化客户端训练与通过最后一层聚合实现梯度降维，是否能显著降低切分学习中的训练延迟？
• RQ2 在无线边缘网络中，子信道分配、功率控制与切分层选择的联合优化对每轮延迟有何影响？
• RQ3 在异构设备与信道条件下，所提出的资源管理策略相较于非优化基线性能提升程度如何？
• RQ4 EPSL框架在训练过程中对动态无线信道变化的鲁棒性如何？
• RQ5 在延迟降低中，切分层选择相较于功率控制与子信道分配的相对贡献有多大？

主要发现

• 在相同系统条件下，所提出的EPSL框架相较于非优化基线，将每轮训练延迟降低了约50%。
• 联合优化子信道分配、功率控制与切分层选择所带来的延迟降低效果，优于单独优化任一组件。
• 增加总带宽可降低训练延迟，且在高带宽下，优化方案与非优化方案之间的性能差距进一步扩大，主要得益于对慢速设备的更好缓解。
• 更高的服务器计算能力可降低训练延迟，且随着服务器能力提升，功率控制与子信道分配的优势也更加显著。
• 该框架在动态无线信道下仍保持鲁棒性，当信道增益在各轮之间变化时，性能下降极小。
• 在高容量场景下，切分层选择优化对延迟降低的贡献大于功率控制或子信道分配。