[论文解读] DeepSpark: Spark-Based Deep Learning Supporting Asynchronous Updates and Caffe Compatibility

Hanjoo Kim, Jae Hong Park+2 more|arXiv (Cornell University)|Feb 26, 2016

Advanced Neural Network Applications参考文献 31被引用 31

一句话总结

DeepSpark 是一个分布式深度学习框架，结合了 Apache Spark 用于可扩展的数据管理以及 Caffe 用于 GPU 加速，通过一种无锁的弹性平均 SGD 变体实现异步训练。它原生支持 Caffe 模型，可在大规模集群上实现无缝部署，提升训练效率和兼容性。

ABSTRACT

The increasing complexity of deep neural networks (DNNs) has made it challenging to exploit existing large-scale data process pipelines for handling massive data and parameters involved in DNN training. Distributed computing platforms and GPGPU-based acceleration provide a mainstream solution to this computational challenge. In this paper, we propose DeepSpark, a distributed and parallel deep learning framework that simultaneously exploits Apache Spark for large-scale distributed data management and Caffe for GPU-based acceleration. DeepSpark directly accepts Caffe input specifications, providing seamless compatibility with existing designs and network structures. To support parallel operations, DeepSpark automatically distributes workloads and parameters to Caffe-running nodes using Spark and iteratively aggregates training results by a novel lock-free asynchronous variant of the popular elastic averaging stochastic gradient descent (SGD) update scheme, effectively complementing the synchronized processing capabilities of Spark. DeepSpark is an on-going project, and the current release is available at this http URL

研究动机与目标

• 解决使用现有分布式系统在大规模数据集和模型参数上扩展深度神经网络训练的挑战。
• 实现与现有基于 Caffe 的深度学习模型和架构的无缝集成。
• 通过 Spark 的数据管理能力和 GPU 加速，支持高效、可扩展且容错的分布式训练。
• 开发一种新型无锁异步 SGD 更新机制，以提高训练吞吐量并减少同步瓶颈。
• 确保与 Caffe 的输入规范和训练工作流兼容，以最小化迁移开销。

提出的方法

• 利用 Apache Spark 将数据分发并在多个节点上管理训练工作负载。
• 使用 Caffe 作为底层深度学习引擎，以在每个节点上实现 GPU 加速计算。
• 通过 Spark 的执行引擎自动划分并分发模型参数和数据至运行 Caffe 的节点。
• 采用无锁异步变体的弹性平均 SGD 来更新节点间的参数，避免同步延迟。
• 通过弹性平均方案迭代聚合梯度和模型更新，以提高收敛稳定性。
• 通过直接接受 Caffe 的模型定义和求解器配置文件，保持与 Caffe 的兼容性。

实验结果

研究问题

• RQ1 如何在保持与现有基于 Caffe 的模型兼容的前提下，高效地在大规模集群上扩展深度学习训练？
• RQ2 无锁异步 SGD 变体是否能在不牺牲收敛质量的前提下提高训练吞吐量？
• RQ3 Apache Spark 的数据管理能力在多大程度上能与 Caffe 的 GPU 加速有效结合用于分布式深度学习？
• RQ4 Spark 与 Caffe 的集成如何影响大规模深度学习工作负载中的训练效率和容错能力？
• RQ5 通过统一框架结合分布式数据处理与 GPU 加速训练，可实现多大的性能提升？

主要发现

• DeepSpark 利用 Spark 的分布式数据处理能力，实现了基于 Caffe 模型在大规模集群上的无缝训练。
• 无锁异步 SGD 变体相比同步方法显著降低了同步开销，提高了训练吞吐量。
• DeepSpark 完全保持与 Caffe 模型和求解器配置的兼容性，可直接复用现有深度学习架构。
• 该框架能有效扩展至多个节点，高效分发数据和模型参数。
• 通过结合 Spark 的容错能力与 Caffe 的 GPU 加速，DeepSpark 支持可靠且高性能的分布式训练。
• 当前实现已证明在分布式深度学习工作负载中具备可行性与性能提升，且正处于持续开发中，已公开可用。