[论文解读] Skyplane: Optimizing Transfer Cost and Throughput Using Cloud-Aware Overlays

Paras Jain, Sam Kumar+4 more|arXiv (Cornell University)|Oct 13, 2022

Cloud Computing and Resource Management被引用 11

一句话总结

Skyplane 是一种云感知的数据传输系统，通过使用应用层覆盖网络，在优化吞吐量的同时最小化成本，从而优化跨云区域的大规模数据传输。它将性能与出站定价之间的权衡建模为混合整数线性规划（MILP），相比原生云服务，可实现最高 5.0× 的传输速度提升，且成本开销极低。

ABSTRACT

Cloud applications are increasingly distributing data across multiple regions and cloud providers. Unfortunately, wide-area bulk data transfers are often slow, bottlenecking applications. We demonstrate that it is possible to significantly improve inter-region cloud bulk transfer throughput by adapting network overlays to the cloud setting -- that is, by routing data through indirect paths at the application layer. However, directly applying network overlays in this setting can result in unacceptable increases in cloud egress prices. We present Skyplane, a system for bulk data transfer between cloud object stores that uses cloud-aware network overlays to optimally navigate the trade-off between price and performance. Skyplane's planner uses mixed-integer linear programming to determine the optimal overlay path and resource allocation for data transfer, subject to user-provided constraints on price or performance. Skyplane outperforms public cloud transfer services by up to $4.6 imes$ for transfers within one cloud and by up to $5.0 imes$ across clouds.

研究动机与目标

• 为多云和多区域环境中的高效、高吞吐量批量数据传输提供解决方案。
• 克服原生云传输服务的局限性，这些服务通常因路由不佳和缺乏成本意识而导致性能不佳。
• 通过利用间接覆盖路径和云弹性，使用户能够在数据传输中平衡性能与成本。
• 设计一种系统，能够动态选择最优中继区域并分配云资源，以在用户定义的成本或性能约束下最大化吞吐量。

提出的方法

• Skyplane 使用应用层网络覆盖网络，通过中间云区域路由数据，绕过直接但较慢的路径。
• 将传输优化问题建模为混合整数线性规划（MILP），对每个云区域的出站成本和带宽约束进行建模。
• 规划器确定满足用户指定性能或成本约束的最优覆盖路径以及每个中继区域需分配的虚拟机实例数量。
• 使用 MILP 或松弛线性规划（LP）求解器，同时支持在带宽下限条件下的成本最小化和在成本上限条件下的吞吐量最大化。
• 通过动态分配虚拟机，利用云弹性，使带宽在单个区域的物理限制之外得以提升。
• Skyplane 与现有云对象存储集成，且无需修改云服务提供商的基础设施。

实验结果

研究问题

• RQ1 应用层覆盖网络能否显著提升跨云区域和云服务提供商的大规模数据传输吞吐量？
• RQ2 在多云环境中，如何通过云感知的路由与资源分配最小化传输成本，同时最大化吞吐量？
• RQ3 在数据传输中，云弹性在多大程度上可被利用以突破物理网络容量限制？
• RQ4 混合整数线性规划建模能否有效描述云数据传输中性能与出站定价之间的权衡？

主要发现

• 在云内传输中，Skyplane 相比 AWS DataSync 最快可提升 4.6×；在跨云传输中，相比 GCP Storage Transfer 最快可提升 5.0×。
• 通过利用 Azure 西部美国 2 区的优化覆盖路径，Skyplane 实现了 12.4 Gbps 的吞吐量——是直接路径 6.2 Gbps 的两倍，且出站成本仅增加 1.2 倍。
• 使用日本东部地区的替代中继点可将吞吐量提升至 13.9 Gbps，但成本增加至 1.9 倍，凸显了成本意识路径选择的重要性。
• 即使仅增加极少额外成本，Skyplane 也比原生云服务将传输时间缩短最多 5.0×。
• 相比学术基线 RON，Skyplane 在引入成本与弹性约束的前提下实现了 34% 的性能提升。
• 基于 MILP 的规划器能有效平衡性能与成本，使用户可设定约束并实现接近最优的传输方案。