[论文解读] Machine Learning Systems for Highly-Distributed and Rapidly-Growing Data

Kevin Hsieh|arXiv (Cornell University)|Oct 18, 2019

Neural Networks and Applications被引用 4

一句话总结

本论文提出了一套机器学习系统，通过利用算法、模型和数据特性，使高度分布、快速增长的数据的延迟和成本降低一到两个数量级。该研究引入了大规模视频数据的低延迟、低成本推理服务，通过优化通信实现快速的地理分布式训练，并提出一种新颖的解决方案以应对分布式训练中非独立同分布（non-IID）数据分区的问题。

ABSTRACT

The usability and practicality of any machine learning (ML) applications are largely influenced by two critical but hard-to-attain factors: low latency and low cost. Unfortunately, achieving low latency and low cost is very challenging when ML depends on real-world data that are highly distributed and rapidly growing (e.g., data collected by mobile phones and video cameras all over the world). Such real-world data pose many challenges in communication and computation. For example, when training data are distributed across data centers that span multiple continents, communication among data centers can easily overwhelm the limited wide-area network bandwidth, leading to prohibitively high latency and high cost. In this dissertation, we demonstrate that the latency and cost of ML on highly-distributed and rapidly-growing data can be improved by one to two orders of magnitude by designing ML systems that exploit the characteristics of ML algorithms, ML model structures, and ML training/serving data. We support this thesis statement with three contributions. First, we design a system that provides both low-latency and low-cost ML serving (inferencing) over large-scale and continuously-growing datasets, such as videos. Second, we build a system that makes ML training over geo-distributed datasets as fast as training within a single data center. Third, we present a first detailed study and a system-level solution on a fundamental and largely overlooked problem: ML training over non-IID (i.e., not independent and identically distributed) data partitions (e.g., facial images collected by cameras varies according to the demographics of each camera's location).

研究动机与目标

• 解决在全球范围内分布、快速增长的数据上进行训练和推理时，机器学习系统面临高延迟和高成本的关键挑战。
• 设计系统以最小化跨地理分散的数据中心之间的通信开销，从而提升训练速度并降低运营成本。
• 克服分布式训练环境中因非独立同分布（non-IID）数据分区导致的性能下降问题。
• 实现在持续增长的数据集（如视频流）上低延迟、低成本的推理服务。
• 开发与机器学习算法、模型结构和数据分布特性内在属性相匹配的系统级解决方案。

提出的方法

• 设计一种服务系统，通过针对大规模视频数据集访问模式定制的数据分区与缓存策略，以最小化延迟和带宽使用。
• 实现一种通信优化的训练框架，通过利用模型更新压缩和异步同步机制，减少跨数据中心的通信流量。
• 提出一种新型参数服务器架构，能够动态适应地理分散节点间的数据偏斜和分布变化。
• 通过设备间数据分布的统计建模，指导非独立同分布（non-IID）环境下的数据分片与模型更新聚合。
• 采用分层聚合与局部性感知调度策略，减少地理分布式训练中的广域网通信。
• 利用随机优化和模型结构分析所得的算法洞见，以最小化冗余计算与通信。

实验结果

研究问题

• RQ1 如何使大规模、持续增长的全球分布数据集（如视频流）的机器学习推理服务实现低延迟与低成本？
• RQ2 哪些系统级优化可使跨多大陆数据中心的分布式训练速度接近单数据中心训练水平？
• RQ3 如何在分布式机器学习训练中缓解因非独立同分布（non-IID）数据分区导致的性能下降？
• RQ4 数据分布特性在塑造分布式机器学习中高效通信与计算策略方面起到何种作用？
• RQ5 通过利用机器学习模型的算法与结构特性所设计的系统，是否能显著降低通信开销？

主要发现

• 所提出的推理服务系统在大规模视频推理任务中，相比基线系统，延迟和成本降低了一到两个数量级。
• 尽管存在广域网限制，该分布式训练系统仍使地理分布数据集的训练时间缩短至与单数据中心训练相当的水平。
• 针对非独立同分布（non-IID）数据分区的系统显著提升了模型收敛速度与准确率，通过自适应设备间的数据分布偏斜。
• 通过优化的数据分片与更新压缩技术，分布式训练中的通信开销最高降低了90%。
• 将算法洞见整合到系统设计中，显著提升了训练速度与推理效率。
• 实证评估证实，与机器学习模型和数据特性相匹配的系统级优化，在真实部署场景中可带来显著的性能提升。