[论文解读] Towards Reliable (and Efficient) Job Executions in a Practical Geo-distributed Data Analytics System

Xiaoda Zhang, Zhuzhong Qian+5 more|arXiv (Cornell University)|Feb 1, 2018

Cloud Computing and Resource Management参考文献 24被引用 6

一句话总结

本文提出 Houtu，一种去中心化的地理分布数据解析系统，通过在每个主权数据中心维护一个作业管理器，实现跨广域网络的高效、可靠且容错的作业执行。通过采用协作式工作窃取与无先验作业知识的反馈驱动资源自适应机制，Houtu 在保证作业可靠性的同时，实现了与集中式系统相当的性能，即使在网络不稳定和不可靠（Spot）云实例环境下亦能保持稳定。

ABSTRACT

Geo-distributed data analytics are increasingly common to derive useful information in large organisations. Naive extension of existing cluster-scale data analytics systems to the scale of geo-distributed data centers faces unique challenges including WAN bandwidth limits, regulatory constraints, changeable/unreliable runtime environment, and monetary costs. Our goal in this work is to develop a practical geo-distribued data analytics system that (1) employs an intelligent mechanism for jobs to efficiently utilize (adjust to) the resources (changeable environment) across data centers; (2) guarantees the reliability of jobs due to the possible failures; and (3) is generic and flexible enough to run a wide range of data analytics jobs without requiring any changes. To this end, we present a new, general geo-distributed data analytics system, HOUTU, that is composed of multiple autonomous systems, each operating in a sovereign data center. HOUTU maintains a job manager (JM) for a geo-distributed job in each data center, so that these replicated JMs could individually and cooperatively manage resources and assign tasks. Our experiments on the prototype of HOUTU running across four Alibaba Cloud regions show that HOUTU provides nearly efficient job performance as in the existing centralized architecture, and guarantees reliable job executions when facing failures.

研究动机与目标

• 解决地理分布数据解析中广域网带宽波动、监管约束以及云实例不可靠性带来的挑战。
• 设计一种系统，确保在动态、不可靠环境（如 Spot 实例）中发生故障时仍能保证作业可靠性。
• 在不修改现有数据解析作业或无需事先了解作业特征的情况下，维持高性能和高效率。
• 实现尊重主权数据中心间数据本地性和监管边界的资源自适应与任务调度。

提出的方法

• Houtu 采用去中心化架构，每个数据中心部署一个作业管理器（JM），实现本地与远程资源的自主协同管理。
• 采用一种新颖的工作窃取机制，将任务窃取转化为节点更新事件，从而保留数据本地性并最小化跨数据中心的数据移动。
• 资源分配基于历史利用率反馈而非预测，使系统能够动态适应工作负载和网络条件的变化。
• 每个作业管理器独立根据历史利用率请求、维护或释放资源，确保对运行时变化的快速响应。
• 系统集成作业级容错机制，以应对不可靠 Spot 实例上的故障，超越仅依赖任务级恢复机制的方案。
• 在每个数据中心内复用现有的单数据中心调度算法（如自适应反馈和参数化延迟调度），并通过协作式任务分配在数据中心间实现协调。

实验结果

研究问题

• RQ1 去中心化的地理分布数据解析系统能否在尊重数据主权和监管约束的前提下，实现与集中式系统相当的性能？
• RQ2 在缺乏对作业特征先验知识或网络条件不稳定的情况下，如何实现实时动态调整作业调度与资源分配？
• RQ3 在存在不可靠 Spot 实例的环境中，能否有效实现作业级容错，确保可靠性的同时不牺牲成本效率？
• RQ4 在动态多区域云环境中，基于反馈的资源管理能在多大程度上提升系统效率？

主要发现

• Houtu 实现了与集中式架构相当的完成时间（makespan）性能，理论分析表明其在真实条件下具备高效的可扩展性。
• 即使广域网带宽在短时间内显著波动，Houtu 仍能保持作业集合的低平均响应时间。
• 通过实现作业级容错，Houtu 在 Spot 实例发生故障时仍能保证作业可靠执行，其表现优于仅依赖任务级恢复机制的系统。
• 在四家阿里云区域的实验结果表明，Houtu 在真实世界网络波动和资源不稳定性条件下，仍能维持高效率与高可靠性。
• 基于反馈的资源自适应机制无需作业特征分析或预测，即可实现有效的动态资源伸缩，提升对工作负载变化的响应能力。
• 协作式工作窃取机制有效平衡了数据中心间的负载，同时最小化了跨数据中心的数据传输，充分尊重了数据本地性约束。