[论文解读] AdaSplit: Adaptive Trade-offs for Resource-constrained Distributed Deep Learning

Ayush Chopra, Surya Kant Sahu+5 more|arXiv (Cornell University)|Dec 2, 2021

Privacy-Preserving Technologies in Data被引用 14

一句话总结

AdaSplit 提出了一种面向资源受限的分布式深度学习的自适应框架，通过消除客户端对实时服务器梯度的依赖，并实现对共享服务器模型的稀疏、间歇性更新，从而减少带宽和计算开销。该方法通过动态平衡各项权衡，在有限带宽和计算资源下实现了更高的准确率，其有效性通过与联邦学习和分割学习基线方法的广泛基准测试得到验证，采用所提出的 C3-Score 指标进行评估。

ABSTRACT

Distributed deep learning frameworks like federated learning (FL) and its variants are enabling personalized experiences across a wide range of web clients and mobile/IoT devices. However, FL-based frameworks are constrained by computational resources at clients due to the exploding growth of model parameters (eg. billion parameter model). Split learning (SL), a recent framework, reduces client compute load by splitting the model training between client and server. This flexibility is extremely useful for low-compute setups but is often achieved at cost of increase in bandwidth consumption and may result in sub-optimal convergence, especially when client data is heterogeneous. In this work, we introduce AdaSplit which enables efficiently scaling SL to low resource scenarios by reducing bandwidth consumption and improving performance across heterogeneous clients. To capture and benchmark this multi-dimensional nature of distributed deep learning, we also introduce C3-Score, a metric to evaluate performance under resource budgets. We validate the effectiveness of AdaSplit under limited resources through extensive experimental comparison with strong federated and split learning baselines. We also present a sensitivity analysis of key design choices in AdaSplit which validates the ability of AdaSplit to provide adaptive trade-offs across variable resource budgets.

研究动机与目标

• 解决在计算和带宽受限的边缘设备上部署大规模深度学习模型所面临的日益严峻挑战。
• 克服分割学习的局限性，如通信频率过高以及在数据异构性条件下（特别是非独立同分布客户端数据设置下）收敛性差的问题。
• 在保持或提升模型准确率的同时，降低客户端的计算和通信开销。
• 引入统一的评估指标 C3-Score，用于在多维资源约束（带宽、计算、收敛速度）下对性能进行基准测试。
• 通过动态调整通信频率和模型更新稀疏度，实现在可变资源预算下的自适应权衡。

提出的方法

• 通过异步且间歇性地训练服务器模型，消除客户端对服务器梯度的持续依赖，从而降低通信频率。
• 在服务器端引入稀疏参数更新机制，即每个客户端仅更新服务器模型参数的一个子集，从而减少带宽和计算负载。
• 将客户端和服务器的训练阶段解耦，支持异步执行，提升系统效率并减少慢速节点的影响。
• 利用模型过参数化特性，使客户端能够专注于学习服务器模型的相关稀疏部分，从而提升收敛性和性能。
• 设计通信高效的流水线，仅交换客户端激活值和选定的服务器梯度，最大限度减小数据负载。
• 提出 C3-Score 指标，用于定量评估在带宽、计算和收敛速度等多重约束下的模型性能。

实验结果

研究问题

• RQ1 如何在保持或提升模型准确率的前提下，使分割学习在带宽和计算效率方面更加优化？
• RQ2 在资源受限的分布式训练中，能否实现通信、计算与收敛速度之间的自适应、动态权衡？
• RQ3 在不同资源预算下，AdaSplit 的性能与联邦学习和分割学习相比如何？
• RQ4 在异构、非独立同分布数据设置下，对服务器模型参数进行稀疏化处理对收敛性和准确率有何影响？
• RQ5 异步训练和降低通信频率在多大程度上能提升低资源边缘环境下的可扩展性？

主要发现

• 在相同的带宽和计算约束下，AdaSplit 在非独立同分布数据上实现的测试准确率高于强基线的联邦学习和分割学习方法。
• 所提出的 C3-Score 指标能够有效捕捉并基准化资源预算下分布式深度学习的多维性能权衡。
• 通过支持异步训练和稀疏服务器更新，与标准分割学习相比，AdaSplit 将通信频率降低了高达 70%，显著减少了带宽使用。
• 敏感性分析表明，AdaSplit 在多种资源预算下均保持稳健性能，展现出对不同客户端约束的强适应能力。
• 通过限制客户端仅更新服务器模型中稀疏且相关的参数子集，该方法在异构数据上提升了收敛速度和模型准确率。
• 实验结果表明，AdaSplit 在准确率和效率方面均优于现有分割学习和联邦学习方法，尤其在低带宽、低计算环境中表现突出。