[论文解读] Floe: A Continuous Dataflow Framework for Dynamic Cloud Applications

Yogesh Simmhan, Alok Gautam Kumbhare|arXiv (Cornell University)|Jun 23, 2014

Cloud Computing and Resource Management参考文献 19被引用 6

一句话总结

Floe 是一种用于动态云应用的连续数据流框架，支持运行时对数据流逻辑和资源分配进行动态调整，以满足不断变化的数据速率和延迟需求。它支持 MapReduce 和 BSP 等高级模式，并采用混合资源分配策略，在不同工作负载下最小化延迟违规的同时节约资源。

ABSTRACT

Applications in cyber-physical systems are increasingly coupled with online instruments to perform long running, continuous data processing. Such "always on" dataflow applications are dynamic, where they need to change the applications logic and performance at runtime, in response to external operational needs. Floe is a continuous dataflow framework that is designed to be adaptive for dynamic applications on Cloud infrastructure. It offers advanced dataflow patterns like BSP and MapReduce for flexible and holistic composition of streams and files, and supports dynamic recomposition at runtime with minimal impact on the execution. Adaptive resource allocation strategies allow our framework to effectively use elastic Cloud resources to meet varying data rates. We illustrate the design patterns of Floe by running an integration pipeline and a tweet clustering application from the Smart Power Grids domain on a private Eucalyptus Cloud. The responsiveness of our resource adaptation is validated through simulations for periodic, bursty and random workloads.

研究动机与目标

• 解决现有数据流框架中缺乏运行时动态性的问题，即应用逻辑和组合必须重新组合并重新启动。
• 实现在单一可扩展框架中对多种数据流模式（如 MapReduce、BSP 和流处理）的端到端组合。
• 在云环境中支持自适应资源分配，动态调整以应对数据速率和性能目标的变化。
• 在长时间运行的连续数据流应用中，维持低延迟执行并最小化运行时更新期间的数据丢失。
• 通过智能电网领域的实际用例，在周期性、突发性和随机工作负载下评估框架的响应速度和效率。

提出的方法

• Floe 采用模块化架构，其中 'pellets'（颗粒）是封装逻辑的一等处理单元，可在运行时动态更新。
• 支持多种数据流抽象，包括流处理、MapReduce 和批量同步并行（BSP），支持灵活组合数据流。
• 框架采用三种资源分配策略：静态前瞻、动态和混合策略，通过估算数据特征并相应调整资源使用。
• 通过在不中断数据流的情况下直接更新颗粒逻辑，实现运行时动态性，确保实时流的连续处理。
• 系统使用数据并行和负载均衡模式（如基于数据的选择、轮询）将工作负载高效分发至云资源。
• 通过在 Eucalyptus 云上使用真实应用进行仿真验证性能：智能电网领域的一个集成管道和一个推文聚类系统。

实验结果

研究问题

• RQ1 如何在不中断执行的情况下支持数据流框架对应用逻辑的动态更新，特别是在长时间运行的连续数据处理流水线中？
• RQ2 在不同数据速率（周期性、突发性或随机性）下，哪种资源分配策略最有效以维持低延迟？
• RQ3 如何在单一框架中本机组合高级数据流模式（如 MapReduce 和 BSP），同时保持性能和可扩展性？
• RQ4 混合资源分配策略在多大程度上能够平衡延迟合规性与资源效率？
• RQ5 统一框架在多态数据类型（流、文件、集合）和处理模型（流式处理、批处理、迭代处理）的组合中，能否在单一、可扩展的架构中实现有效集成？

主要发现

• 混合资源分配策略在延迟合规性与资源效率之间实现了最佳平衡，性能比达到 0.98（相对于最优值）。
• 静态前瞻策略使用的资源量与动态和混合策略几乎相同，但性能显著更差，表明其适应效率低下。
• 该框架成功实现了颗粒逻辑的原地更新而无数据丢失，支持连续数据流中真正的运行时动态性。
• 仿真结果表明，混合策略在所有测试工作负载（周期性、突发性、随机性）下均有效限制了延迟违规，同时节约了资源。
• 该框架在单一执行环境中有效支持了复杂、多模式数据流，包括集成管道、基于 MapReduce 的预测分析和图计算。
• Floe 的架构支持无缝组合多种数据流抽象（如流处理、MapReduce 和 BSP），无需多个框架或复杂的协调机制。