[论文解读] Harnessing the Power of Serverless Runtimes for Large-Scale Optimization

Arda Aytekin, Mikael Johansson|arXiv (Cornell University)|Jan 10, 2019

Cloud Computing and Resource Management参考文献 22被引用 5

一句话总结

本文提出在主从架构中使用 AWS Lambda 无服务器函数作为工作者，通过分布式交替方向乘子法（ADMM）求解大规模优化问题。尽管存在状态管理和冷启动等挑战，该方法在 64 个工作者下实现了超过 70% 的效率和高达 256 倍的相对加速，证明了其可行性。

ABSTRACT

The event-driven and elastic nature of serverless runtimes makes them a very efficient and cost-effective alternative for scaling up computations. So far, they have mostly been used for stateless, data parallel and ephemeral computations. In this work, we propose using serverless runtimes to solve generic, large-scale optimization problems. Specifically, we build a master-worker setup using AWS Lambda as the source of our workers, implement a parallel optimization algorithm to solve a regularized logistic regression problem, and show that relative speedups up to 256 workers and efficiencies above 70% up to 64 workers can be expected. We also identify possible algorithmic and system-level bottlenecks, propose improvements, and discuss the limitations and challenges in realizing these improvements.

研究动机与目标

• 探究在通用大规模优化问题中使用无服务器运行时的可行性。
• 解决在无服务器平台上长期运行、有状态的优化算法中面临的状态管理与工作者延迟问题。
• 评估在使用 AWS Lambda 作为工作者的分布式 ADMM 设置中，性能的可扩展性与效率。
• 识别基于无服务器的优化中的算法与系统级瓶颈，并提出改进方案。

提出的方法

• 部署主从架构，其中主节点运行在托管的多核服务器上，而工作者为 AWS Lambda 函数。
• 实现同步并行 ADMM，以分布式方式求解正则化逻辑回归问题。
• 通过点对点消息传递实现主节点与工作者之间的通信，状态持久化由外部管理。
• 采用星型网络拓扑以最小化通信开销并确保负载均衡。
• 监控冷启动延迟、计算时间与工作者响应性，以评估性能瓶颈。
• 应用容错设计模式以处理工作者超时问题，并确保迭代间的状态一致性。

实验结果

研究问题

• RQ1 像 AWS Lambda 这样的无服务器运行时能否有效用于求解大规模、有状态的优化问题？
• RQ2 在分布式 ADMM 中使用无服务器工作者的性能极限与可扩展性特征是什么？
• RQ3 冷启动延迟与工作者延迟如何影响无服务器平台上同步并行优化的效率？
• RQ4 哪些算法与系统级改进可以缓解通信开销与延迟者效应等瓶颈？

主要发现

• 在分布式 ADMM 设置中，使用 256 个工作者时，相对加速最高达到 256 倍。
• 当使用最多 64 个工作者时，并行效率保持在 70% 以上，表明在测试配置下具有出色的可扩展性。
• 冷启动延迟相对于计算时间始终较低，且在最多 64 个工作者时未出现显著性能下降。
• 工作者表现出高响应性，几乎没有延迟者——少于 10% 的迭代中，有工作者处于最慢的 10%。
• 对于维度 d=10,000 的决策向量，通信开销可忽略不计，但当 d 较大时（例如 d>80,000）会成为瓶颈。
• 缺乏入站网络连接以及缺少集合通信原语（如 AllReduce）限制了传统 HPC 模式（如 MPI）的使用。