[论文解读] DeepSpark: A Spark-Based Distributed Deep Learning Framework for Commodity Clusters

Hanjoo Kim, Jaehong Park+2 more|arXiv (Cornell University)|Feb 26, 2016

Advanced Clustering Algorithms Research参考文献 21被引用 14

一句话总结

DeepSpark 是一个基于 Apache Spark 构建的分布式深度学习框架，通过将数据并行与异步、无锁的弹性平均 SGD（EASGD）变体相结合，加速了在通用集群上的训练。它通过将参数同步与计算解耦，减少了通信开销，在 CaffeOnSpark 的基础上实现了高达 10 倍的参数交换速度提升，尽管由于异步性导致迭代次数增加，仍取得了显著的速度提升。

ABSTRACT

The increasing complexity of deep neural networks (DNNs) has made it challenging to exploit existing large-scale data processing pipelines for handling massive data and parameters involved in DNN training. Distributed computing platforms and GPGPU-based acceleration provide a mainstream solution to this computational challenge. In this paper, we propose DeepSpark, a distributed and parallel deep learning framework that exploits Apache Spark on commodity clusters. To support parallel operations, DeepSpark automatically distributes workloads and parameters to Caffe/Tensorflow-running nodes using Spark, and iteratively aggregates training results by a novel lock-free asynchronous variant of the popular elastic averaging stochastic gradient descent based update scheme, effectively complementing the synchronized processing capabilities of Spark. DeepSpark is an on-going project, and the current release is available at http://deepspark.snu.ac.kr.

研究动机与目标

• 解决现有深度学习框架在通用集群上存在的高通信开销和可扩展性有限的问题。
• 通过 Apache Spark 实现深度学习与大规模数据处理流水线的无缝集成。
• 通过异步参数更新机制减少同步瓶颈，提升训练效率。
• 在统一的基于 Spark 的执行环境中支持 Caffe 和 TensorFlow 等主流深度学习框架。
• 在不依赖专用 GPU 集群的前提下，实现通用硬件上的更快收敛与更好可扩展性。

提出的方法

• DeepSpark 利用 Apache Spark 的弹性分布式数据集（RDD）在工作节点之间分发数据和模型参数，实现数据并行。
• 它实现了一种新颖的无锁、异步弹性平均 SGD（EASGD）变体，将参数更新与计算解耦，减少同步延迟。
• 该框架使用参数交换模块配合线程池来管理节点间参数交换，最大限度减少通信期间的空闲时间。
• 通信周期（τ）经过调优，以在异步带来的偏差惩罚与通信开销减少之间取得平衡。
• 系统支持 Caffe 和 TensorFlow 作为后端计算引擎，使用户能够在 Spark 集群上灵活训练模型。
• 基于计算时间（T_comp）和通信时间（T_comm）推导出加速比模型，理论分析表明在高网络延迟环境下具有可扩展性。

实验结果

研究问题

• RQ1 基于 Spark 的异步深度学习框架是否能在通用集群上实现比同步框架更快的训练速度？
• RQ2 在分布式深度学习中，参数异步性如何影响收敛精度和训练迭代次数？
• RQ3 在 Spark 环境中，通过将参数同步与计算解耦，通信开销能减少到何种程度？
• RQ4 DeepSpark 是否能有效集成到现有数据处理流水线中，同时保持高训练吞吐量？
• RQ5 在异步分布式训练中，通信减少与偏差惩罚之间的权衡关系如何？

主要发现

• DeepSpark 将参数交换时间减少至 CaffeOnSpark 的十分之一以下，尽管迭代次数更高，仍实现了显著的速度提升。
• 在 16 个节点上训练 GoogLeNet 时，DeepSpark 的收敛速度优于 CaffeOnSpark，参数交换时间仅占小批量训练时间的约 10%。
• 偏差惩罚 d(a,τ,n) 随通信周期 τ 和节点数 n 的增加而上升，但通信开销减少带来的加速收益超过了该惩罚。
• 在 16 个执行器上，数据溢出开销占总训练时间不足 1%，表明对性能影响可忽略。
• 理论加速比模型表明，对于通信开销 S 较高的通用集群，较大的 τ 值可实现可扩展性能，近似于 n/d(a,τ,n)。
• DeepSpark 展现出良好的可扩展性与容错能力，但由于 RDD 血缘问题，当前执行器故障仍需全量重训。