[论文解读] Splash: User-friendly Programming Interface for Parallelizing Stochastic Algorithms

Yuchen Zhang, Michael I. Jordan|arXiv (Cornell University)|Jun 24, 2015

Stochastic Gradient Optimization Techniques参考文献 45被引用 17

一句话总结

Splash 是一个用户友好的编程框架，通过轻量级接口和通信高效的执行引擎，自动在分布式系统上并行化随机算法。它在并行随机梯度下降中实现了最优收敛速率，并在真实世界机器学习工作负载（如逻辑回归、协同过滤和主题建模）上实现了数量级的加速。

ABSTRACT

Stochastic algorithms are efficient approaches to solving machine learning and optimization problems. In this paper, we propose a general framework called Splash for parallelizing stochastic algorithms on multi-node distributed systems. Splash consists of a programming interface and an execution engine. Using the programming interface, the user develops sequential stochastic algorithms without concerning any detail about distributed computing. The algorithm is then automatically parallelized by a communication-efficient execution engine. We provide theoretical justifications on the optimal rate of convergence for parallelizing stochastic gradient descent. Splash is built on top of Apache Spark. The real-data experiments on logistic regression, collaborative filtering and topic modeling verify that Splash yields order-of-magnitude speedup over single-thread stochastic algorithms and over state-of-the-art implementations on Spark.

研究动机与目标

• 为解决在分布式环境中手动并行化随机算法所面临的挑战，该挑战复杂且易出错。
• 设计一种编程接口，使用户能够编写不考虑分布相关问题的顺序随机算法。
• 开发一种执行引擎，能够以最少的节点间通信自动并行化这些算法。
• 从理论上证明，在光滑且强凸条件下，Splash 实现了并行随机梯度下降的最优收敛速率。
• 通过实证验证，Splash 在真实世界机器学习任务中优于单线程实现和最先进的基于 Spark 的系统。

提出的方法

• 该框架使用一种编程接口，用户实现一个处理函数，基于单个或加权数据样本逐步更新模型参数。
• 系统支持加权样本，使同一算法可复用于顺序和分布式执行环境。
• 执行引擎使用分布式平均和重加权来减少本地更新中的偏差，确保全局收敛精度。
• 重加权确保每个工作节点处理的数据总权重等于完整数据集大小，从而最小化采样子集带来的偏差。
• 系统根据数据和集群特性动态检测最优并行度。
• 理论分析证明，在强凸性和光滑性假设下，Splash 实现了并行 SGD 的最优收敛速率。

实验结果

研究问题

• RQ1 一个通用框架能否在最小用户投入和通信开销下自动并行化随机算法？
• RQ2 通过 Splash 实现的自动并行化是否保持了顺序随机算法的统计收敛特性？
• RQ3 Splash 能否在分布式环境中实现并行随机梯度下降的最优收敛速率？
• RQ4 Splash 在真实世界机器学习工作负载上的性能与单线程实现和现有基于 Spark 的系统相比如何？
• RQ5 数据加权和重加权对分布式随机优化中偏差减少和收敛精度的影响是什么？

主要发现

• Splash 在逻辑回归、协同过滤和主题建模工作负载上，相对于单线程随机算法实现了数量级的加速。
• 该框架在速度和收敛效率方面均优于最先进的基于 Spark 的实现。
• 理论分析证实，在光滑且强凸条件下，Splash 实现了并行随机梯度下降的最优收敛速率。
• 重加权机制有效减少了分布式更新中的偏差，即使在局部数据采样下也能实现准确的全局参数估计。
• 该系统无需用户配置即可自动确定最优并行度。
• 实证结果表明，Splash 在通过批量处理和延迟同步显著降低通信开销的同时，仍保持了高收敛精度。