[论文解读] DRS: Dynamic Resource Scheduling for Real-Time Analytics over Fast Streams

Tom Z. J. Fu, Jianbing Ding+4 more|arXiv (Cornell University)|Jan 15, 2015

Cloud Computing and Resource Management参考文献 31被引用 12

一句话总结

DRS 是一种用于基于云的数据流管理系统的动态资源调度器（DSMS），它利用基于排队论的性能模型，实时优化各算子之间的资源分配。通过精确预测所需处理器数量，确保低延迟响应，减少资源浪费，并在工作负载波动时仍能维持实时约束。

ABSTRACT

In a data stream management system (DSMS), users register continuous queries, and receive result updates as data arrive and expire. We focus on applications with real-time constraints, in which the user must receive each result update within a given period after the update occurs. To handle fast data, the DSMS is commonly placed on top of a cloud infrastructure. Because stream properties such as arrival rates can fluctuate unpredictably, cloud resources must be dynamically provisioned and scheduled accordingly to ensure real-time response. It is quite essential, for the existing systems or future developments, to possess the ability of scheduling resources dynamically according to the current workload, in order to avoid wasting resources, or failing in delivering correct results on time. Motivated by this, we propose DRS, a novel dynamic resource scheduler for cloud-based DSMSs. DRS overcomes three fundamental challenges: (a) how to model the relationship between the provisioned resources and query response time (b) where to best place resources; and (c) how to measure system load with minimal overhead. In particular, DRS includes an accurate performance model based on the theory of \emph{Jackson open queueing networks} and is capable of handling \emph{arbitrary} operator topologies, possibly with loops, splits and joins. Extensive experiments with real data confirm that DRS achieves real-time response with close to optimal resource consumption.

研究动机与目标

• 解决在实时数据流处理系统中动态调度云资源的挑战。
• 通过准确估算每个算子所需的计算资源，确保低延迟响应。
• 最小化资源浪费，并避免因处理器分配不当导致的系统不稳定。
• 在复杂、存在循环或分支的算子拓扑中实现高效、可扩展的资源供应。
• 在保持严格实时性能保证的同时，降低调度开销。

提出的方法

• DRS 采用杰克逊开放排队网络模型，基于到达率和处理率预测响应时间。
• 它利用考虑了分流、汇聚和反馈回路的性能模型，动态计算各算子间的最优处理器分配。
• 调度器以极低开销监控系统指标，并在响应时间超过阈值时触发重新配置。
• 它支持资源增加（横向扩展）和资源移除（纵向收缩），以适应工作负载变化。
• 系统与 Apache Storm 集成，并使用轻量级重新平衡机制，以最小化迁移成本。
• 它将测量与调度逻辑分离，测量过程独立于总资源数量，而调度复杂度与总执行器数量呈线性关系。

实验结果

研究问题

• RQ1 如何实现动态资源调度器对满足实时响应约束所必需的处理器数量的准确预测？
• RQ2 在流式系统中，对复杂且可能包含循环的算子拓扑，最高效的资源调度方式是什么？
• RQ3 如何以最小的监控开销测量系统负载，同时保持调度的准确性？
• RQ4 调度器自身的性能开销是多少？其扩展性如何随系统规模变化？
• RQ5 如何在运行时以最小的中断和延迟完成资源重新配置？

主要发现

• DRS 在真实世界视频分析工作负载上验证后，实现了接近最优的资源消耗水平，同时保持了实时响应。
• 即使在输入速率不可预测波动的高负载场景下，系统仍能将响应时间维持在 500ms 以内。
• DRS 的计算开销可忽略不计，所有测试配置下的调度时间均低于 1.3ms，测量时间低于 0.1ms。
• DRS 的重新平衡机制相比 Storm 的默认机制开销显著更低，尤其是在移除现有机器时优势更明显。
• 即使在实际中理论假设（如指数服务时间）未完全满足的情况下，性能模型依然保持稳健。
• 通过主动调整资源分配，调度器成功防止了复杂拓扑（如含反馈回路的拓扑）中的过载传播。