[论文解读] Distributed Data Stream Processing and Edge Computing: A Survey on Resource Elasticity and Future Directions

Marcos Dias de Assunção, Alexandre da Silva Veith+1 more|arXiv (Cornell University)|Sep 5, 2017

Cloud Computing and Resource Management参考文献 78被引用 5

一句话总结

本文综述了云环境和边缘计算环境中流处理引擎及资源弹性机制，重点探讨了应对波动工作负载的动态扩展。它提出了对混合架构中弹性挑战的统一理解，并倡导使用高层编程抽象，以简化在分布式异构基础设施中的部署，同时实现在物联网和智慧城市应用中高效、低延迟的处理。

ABSTRACT

Under several emerging application scenarios, such as in smart cities, operational monitoring of large infrastructure, wearable assistance, and Internet of Things, continuous data streams must be processed under very short delays. Several solutions, including multiple software engines, have been developed for processing unbounded data streams in a scalable and efficient manner. More recently, architecture has been proposed to use edge computing for data stream processing. This paper surveys state of the art on stream processing engines and mechanisms for exploiting resource elasticity features of cloud computing in stream processing. Resource elasticity allows for an application or service to scale out/in according to fluctuating demands. Although such features have been extensively investigated for enterprise applications, stream processing poses challenges on achieving elastic systems that can make efficient resource management decisions based on current load. Elasticity becomes even more challenging in highly distributed environments comprising edge and cloud computing resources. This work examines some of these challenges and discusses solutions proposed in the literature to address them.

研究动机与目标

• 解决在动态工作负载下，实现分布式流处理系统中高效资源弹性的挑战。
• 研究如何联合利用云和边缘计算，以减少实时数据处理中的延迟和网络开销。
• 识别现有流处理框架在弹性管理方面的差距，特别是在混合云-边缘环境中的问题。
• 探索支持在异构基础设施中无缝部署和弹性扩展的高层编程抽象的必要性。
• 概述在分布式和受限环境中实现自适应、容错和可扩展流处理的未来研究方向。

提出的方法

• 根据架构演进和执行模型，将流处理引擎分为三代。
• 分析基于云的流处理平台中现有的弹性机制，重点关注自动扩展和动态资源分配。
• 评估边缘计算在流处理中的集成，包括任务放置、数据流自适应和延迟降低策略。
• 回顾 Apache Beam 和 Apache Quarks/Edgent 等编程模型，这些模型可在云和边缘环境中实现可移植性和抽象化。
• 研究基于容器的部署，以提升分布式流处理系统中的弹性与容错能力。
• 提出利用软件定义网络（SDN）和认知模型，联合优化混合云-边缘架构中的应用部署与数据流路由。

实验结果

研究问题

• RQ1 现代流处理引擎如何根据波动的数据工作负载管理资源弹性？
• RQ2 在云和边缘计算基础设施之间处理数据流时，实现弹性资源管理的关键挑战是什么？
• RQ3 高层编程抽象如何简化在混合、分布式环境中流处理应用的开发与部署？
• RQ4 将流处理算子部署在云与网络边缘之间的权衡是什么？
• RQ5 在边缘部署的流处理管道中，如何检测和管理机器学习模型中的概念漂移？

主要发现

• 尽管在成本效率和性能方面至关重要，流处理中的资源弹性仍研究不足，尤其是在动态、分布式环境中。
• 微批处理框架通过更有效地处理延迟任务，相比连续处理模型，提升了容错性和可扩展性。
• 边缘计算通过在数据源附近实现本地数据处理，降低了延迟和网络使用量，尤其在物联网和实时监控中具有显著优势。
• 现有的编程模型如 Apache Beam 虽可在 Flink 和 Spark 等后端之间实现可移植性，但对边缘部署和弹性的支持仍不完整。
• 容器化和平台绑定（如 Apache Quarks/Edgent）增强了异构、分布式架构中部署灵活性和弹性管理能力。
• 在云与边缘之间最优放置流处理算子的问题仍复杂且开放，需要联合优化数据流、资源使用和网络约束。