[论文解读] Machine Learning Empowered Intelligent Data Center Networking: A Survey

Bo Li, Ting Wang+4 more|arXiv (Cornell University)|Feb 28, 2022

Cloud Computing and Resource Management被引用 4

一句话总结

本综述提出对机器学习（ML）驱动的智能数据中心网络的全面分析，涵盖流量预测、分类、负载均衡、资源管理、路由和拥塞控制。它提出了REBEL-3S框架以客观评估基于ML的解决方案，并识别了实现自优化、自适应数据中心网络的关键挑战与未来研究方向。

ABSTRACT

To support the needs of ever-growing cloud-based services, the number of servers and network devices in data centers is increasing exponentially, which in turn results in high complexities and difficulties in network optimization. To address these challenges, both academia and industry turn to artificial intelligence technology to realize network intelligence. To this end, a considerable number of novel and creative machine learning-based (ML-based) research works have been put forward in recent few years. Nevertheless, there are still enormous challenges faced by the intelligent optimization of data center networks (DCNs), especially in the scenario of online real-time dynamic processing of massive heterogeneous services and traffic data. To best of our knowledge, there is a lack of systematic and original comprehensively investigations with in-depth analysis on intelligent DCN. To this end, in this paper, we comprehensively investigate the application of machine learning to data center networking, and provide a general overview and in-depth analysis of the recent works, covering flow prediction, flow classification, load balancing, resource management, routing optimization, and congestion control. In order to provide a multi-dimensional and multi-perspective comparison of various solutions, we design a quality assessment criteria called REBEL-3S to impartially measure the strengths and weaknesses of these research works. Moreover, we also present unique insights into the technology evolution of the fusion of data center network and machine learning, together with some challenges and potential future research opportunities.

研究动机与目标

• 应对由于规模急剧扩展和异构流量需求带来的现代数据中心网络（DCNs）日益复杂的动态特性。
• 系统性地回顾并分析近期在DCN优化中基于机器学习的研究，涵盖流量预测、分类、负载均衡、资源管理、路由和拥塞控制等关键领域。
• 提出一种新颖的多维评估框架——REBEL-3S，以客观评估现有基于ML的DCN解决方案的优势与不足。
• 识别将机器学习与DCNs集成过程中面临的开放挑战与未来研究机遇，特别是在实时性、动态性与网络安全智能方面。

提出的方法

• 对近期基于机器学习的数据中心网络研究进行全面调查，重点关注六个核心应用领域：流量预测、流量分类、负载均衡、资源管理、路由优化和拥塞控制。
• 设计REBEL-3S质量评估框架——包含相关性（Relevance）、效率（Efficiency）、可绕过性（Bypassing）、评估（Evaluation）、学习能力（Learning）和可扩展性（Scalability）六个维度，以提供标准化、公正的基于ML的DCN解决方案评估。
• 分析数据收集策略（包括流量开销、计算成本和隐私风险）对DCN中ML模型有效性的影响。
• 审视现有通信协议在处理异构、实时和突发性工作负载方面的局限性，并强调需要采用ML增强的自适应协议。
• 研究网络可视化挑战，如路由不可见性、端到端流水线不透明性以及QoS不透明性，并提出基于ML的解决方案以提升故障诊断与运维效率。
• 综合分析人工智能在DCNs中演进的洞见，识别尚未充分探索的研究方向，包括智能协议设计以及安全、可扩展的部署。

实验结果

研究问题

• RQ1 机器学习如何有效应对现代数据中心网络中动态、异构且高流量负载的挑战？
• RQ2 现有基于ML的DCN优化解决方案在不同应用领域中，其关键性能与设计权衡是什么？
• RQ3 当前基于ML的DCN解决方案在生产环境中在实时适应性、可扩展性和运维效率方面达到何种程度？
• RQ4 如何设计一种标准化的多维评估框架，以公平比较多样化的基于ML的DCN方法？
• RQ5 在构建真正智能、自优化的数据中心网络方面，当前面临的主要开放挑战与有前景的未来研究方向是什么？

主要发现

• REBEL-3S框架提供了一套系统化、公正且多重视角的评估机制，可从六个关键维度（相关性、效率、可绕过性、评估、学习能力与可扩展性）全面评估基于ML的DCN解决方案。
• 尽管已取得显著进展，当前基于ML的DCN解决方案在实时处理、数据收集开销和安全性方面仍面临挑战，尤其是在动态和异构服务环境中。
• 网络可视化仍是当前运维实践中的关键短板，路由不可见性和端到端流水线不透明性严重阻碍故障诊断与性能监控。
• 现有通信协议在与遗留系统兼容性以及应对微突发方面无法满足现代DCN的需求，表明亟需采用ML增强的协议设计。
• 人工智能在数据中心网络中的集成仍处于早期阶段，实际部署的成熟度有限，尤其在智能拥塞控制和自适应路由等方向。
• 未来研究应聚焦于开发安全、可扩展且低开销的ML模型，以实现自主、意图驱动和自愈型数据中心网络。