[论文解读] Applications of Artificial Intelligence, Machine Learning and related techniques for Computer Networking Systems

Krishna M. Sivalingam|arXiv (Cornell University)|Apr 21, 2021

Network Security and Intrusion Detection被引用 7

一句话总结

本文全面概述了人工智能与机器学习（AI/ML）在计算机网络中的应用，重点聚焦于流量预测、分类、安全性和资源管理。文中提出了一种新型深度学习模型 DeepCog，该模型采用基于形状的距离（SBD）和一种与时间范围无关的编码器-解码器架构，并结合自适应损失函数，相较于现有方法，网络流量预测的运营成本降低了15–27%，在真实运营商数据中展现出显著的效率提升。

ABSTRACT

This article presents a primer/overview of applications of Artificial Intelligence and Machine Learning (AI/ML) techniques to address problems in the domain of computer networking. In particular, the techniques have been used to support efficient and accurate traffic prediction, traffic classification, anomaly detection, network management, network security, network resource allocation and optimization, network scheduling algorithms, fault diagnosis and many more such applications. The article first summarizes some of the key networking concepts and a few representative machine learning techniques and algorithms. The article then presents details regarding the availability of data sets for networking applications and machine learning software and toolkits for processing these data sets. Highlights of some of the standards activities, pursued by ITU-T and ETSI, which are related to AI/ML for networking, are also presented. Finally, the article discusses a small set of representative networking problems where AI/ML techniques have been successfully applied.

研究动机与目标

• 提供适用于计算机网络系统的 AI/ML 技术的理论基础概述。
• 识别出机器学习在实际中已取得可测量成效的关键网络问题，例如流量预测和异常检测。
• 突出实际应用案例，包括 DeepCog 模型，并评估其性能相较于现有预测器的表现。
• 讨论推动 AI/ML 在网络中应用的可用数据集、软件工具包以及标准化工作（例如 ITU-T、ETSI）。
• 倡导在未来网络设计中更深层次地集成机器学习，以提升效率、用户体验质量（QoE）并降低运营成本。

提出的方法

• DeepCog 模型使用基于形状的距离（SBD）来计算基站历史流量需求之间的相似性，从而实现对网络流量模式的虚拟三维张量映射。
• 其采用一种与时间范围无关的编码器-解码器架构，其中编码器在最大时间粒度下进行训练，而解码器则按每个时间范围 $T_h$ 进行专门化，从而减少训练时间。
• 采用自适应损失函数，其参数为 $α_{sj}$，用于在服务等级协议（SLA）违规成本与容量成本之间进行权衡，以优先考虑可靠性或效率。
• 模型使用 Adam 优化器进行训练，预测结果在 5 分钟至 8 小时的时间范围内进行评估，观测窗口固定为 30 分钟。
• 编码器在全时间粒度下进行预训练，解码器则按时间范围进行微调，从而实现高效的多时间范围预测。
• 该框架通过优化与分配问题将流量模式映射到虚拟坐标，实现可扩展且精确的预测。

实验结果

研究问题

• RQ1 如何使机器学习模型在多样化的时间范围内有效预测网络流量，同时最小化运营成本？
• RQ2 在异构网络环境中，引入基于形状的距离（SBD）在多大程度上能提升流量预测的准确性和泛化能力？
• RQ3 与时间范围无关的编码器-解码器架构是否能减少训练时间并提升网络流量预测的可扩展性？
• RQ4 由 $α_{sj}$ 参数化的自适应损失函数如何影响网络切片中 SLA 合规性与资源利用率之间的权衡？
• RQ5 DeepCog 在大规模真实运营商数据中的实际性能相较于现有流量预测器表现如何？

主要发现

• 在三个真实世界用例（社交媒体、即时通讯和视频流媒体）中，DeepCog 的运营成本比现有最佳预测器降低了15–27%。
• 模型表现出时间范围 $T_h$ 与货币成本之间的准线性关系，表明成本增长稳定，无指数级上升。
• 损失参数 $α_{sj}$ 的值越高，SLA 违规越少，证实了模型在优先保障可靠性方面的能力。
• 与时间范围无关的训练策略通过解耦编码器与解码器的训练过程，显著减少了总训练时间。
• SBD 与虚拟三维张量映射的结合，使得在 100 km² 范围内、覆盖 200 万居民的时空流量模式得以精确建模。
• DeepCog 的源代码已公开，支持可复现性，并推动网络流量预测领域的进一步研究。