[论文解读] A Survey of Big Data Machine Learning Applications Optimization in Cloud Data Centers and Networks

Sanaa Hamid Mohamed, Taisir E. H. El-Gorashi+1 more|arXiv (Cornell University)|Jan 1, 2019

Cloud Computing and Resource Management参考文献 600被引用 6

一句话总结

本综述对云数据中心和网络中大数据机器学习工作负载的优化技术进行了全面分析，将相关研究工作分为应用层、网络层和数据中心层优化三类。文章识别出关键挑战，如流量拥塞、能耗过高以及多租户效率低下，并评估了利用虚拟化、软件定义网络（SDN）、网络功能虚拟化（NFV）和容器化等技术在提升分布式系统中性能、公平性和能效方面的解决方案。

ABSTRACT

This survey article reviews the challenges associated with deploying and optimizing big data applications and machine learning algorithms in cloud data centers and networks. The MapReduce programming model and its widely-used open-source platform; Hadoop, are enabling the development of a large number of cloud-based services and big data applications. MapReduce and Hadoop thus introduce innovative, efficient, and accelerated intensive computations and analytics. These services usually utilize commodity clusters within geographically-distributed data centers and provide cost-effective and elastic solutions. However, the increasing traffic between and within the data centers that migrate, store, and process big data, is becoming a bottleneck that calls for enhanced infrastructures capable of reducing the congestion and power consumption. Moreover, enterprises with multiple tenants requesting various big data services are challenged by the need to optimize leasing their resources at reduced running costs and power consumption while avoiding under or over utilization. In this survey, we present a summary of the characteristics of various big data programming models and applications and provide a review of cloud computing infrastructures, and related technologies such as virtualization, and software-defined networking that increasingly support big data systems. Moreover, we provide a brief review of data centers topologies, routing protocols, and traffic characteristics, and emphasize the implications of big data on such cloud data centers and their supporting networks. Wide ranging efforts were devoted to optimize systems that handle big data in terms of various applications performance metrics and/or infrastructure energy efficiency. Finally, some insights and future research directions are provided.

研究动机与目标

• 识别并分类云环境中大数据机器学习应用的优化策略。
• 分析云数据中心和网络中的挑战，包括流量拥塞、能耗以及资源利用不足或过度的问题。
• 评估SDN、NFV和容器等新兴技术对大数据系统性能与效率的影响。
• 对应用层、网络层和数据中心层的优化技术进行系统性综述。
• 指出在可扩展性、能效和高性能方面，云基础设施中大数据系统的研究空白与未来方向。

提出的方法

• 系统性回顾现有文献中关于云数据中心和网络中大数据与机器学习优化的研究。
• 将优化研究分类为三类：应用层优化、网络层优化和数据中心层优化。
• 分析关键技术，包括MapReduce、Hadoop、SDN、NFV、虚拟机、容器以及数据中心拓扑结构。
• 评估在不同工作负载下，完成时间、公平性、成本、收益和能耗等性能指标。
• 综合分析来自真实世界原型和云测试平台的仿真结果与实验结果。
• 识别在分布式和地理分布式框架中，性能、能效与资源利用率之间的权衡关系。

实验结果

研究问题

• RQ1 大数据工作负载如何影响云数据中心和网络的性能，特别是在流量、延迟和资源利用率方面？
• RQ2 在云堆栈的不同层级——应用层、网络层和数据中心层——优化大数据机器学习应用面临哪些关键挑战？
• RQ3 SDN、NFV和容器等新兴技术如何提升大数据系统中的能效与性能？
• RQ4 在多租户和地理分布式大数据环境中，性能、成本与能耗之间存在哪些权衡？
• RQ5 在云基础设施中实现可扩展、公平且能效高的大数据处理，当前存在哪些开放性研究挑战？

主要发现

• 能效与性能常常存在冲突，大多数提供商更倾向于过度配置以满足服务等级协议（SLA），而非最小化功耗。
• SDN和NFV支持动态、基于应用感知的网络与资源管理，可减少作业完成时间并提升能效。
• 多租户环境因共享网络与I/O资源，带来公平性与隔离性挑战，需依赖动态调度与定价模型加以解决。
• 地理分布式框架面临高延迟与数据传输成本，亟需新型路由与资源分配策略。
• 异构集群导致任务完成时间不平衡，需依赖精准的性能分析与智能调度算法。
• 容器化与虚拟化可提升资源利用率与系统敏捷性，尤其在动态与大规模数据中心环境中优势显著。