[论文解读] Using Machine Learning to Detect Noisy Neighbors in 5G Networks

Udi Margolin, Alberto Mozó+4 more|arXiv (Cornell University)|Oct 24, 2016

Wireless Signal Modulation Classification参考文献 8被引用 4

一句话总结

该论文提出使用机器学习检测5G网络功能虚拟化（NFV）环境中因共享云节点上的资源争用导致虚拟机性能下降的噪声邻居事件。基于真实NFV测试平台收集的CPU、网络和噪声负载指标，SVM与随机森林模型在分类噪声邻居事件时均实现了超过90%的F1得分，证明了其在自动化性能监控中具有高精度。

ABSTRACT

5G networks are expected to be more dynamic and chaotic in their structure than current networks. With the advent of Network Function Virtualization (NFV), Network Functions (NF) will no longer be tightly coupled with the hardware they are running on, which poses new challenges in network management. Noisy neighbor is a term commonly used to describe situations in NFV infrastructure where an application experiences degradation in performance due to the fact that some of the resources it needs are occupied by other applications in the same cloud node. These situations cannot be easily identified using straightforward approaches, which calls for the use of sophisticated methods for NFV infrastructure management. In this paper we demonstrate how Machine Learning (ML) techniques can be used to identify such events. Through experiments using data collected at real NFV infrastructure, we show that standard models for automated classification can detect the noisy neighbor phenomenon with an accuracy of more than 90% in a simple scenario.

研究动机与目标

• 为解决因共驻虚拟机（噪声邻居）导致的资源争用所引发的NFV性能下降问题。
• 评估标准机器学习模型是否能在受控的NFV测试平台环境中有效检测噪声邻居事件。
• 评估基于OpenStack基础设施收集的真实世界指标的机器学习模型分类性能。
• 通过实现对性能影响性资源争用的早期检测，为动态5G网络中的自动化、可扩展编排提供基础。

提出的方法

• 从五台服务器的NFV测试平台收集实时指标：目标虚拟机的CPU利用率、入站与出站网络带宽，以及产生噪声的虚拟机的CPU利用率。
• 使用Linux的'stress'工具在与目标虚拟机相同的物理主机上模拟CPU密集型的噪声邻居工作负载。
• 在训练前将输入特征标准化为均值为零、方差为一的分布。
• 训练两种模型：采用高斯核的L1正则化SVM，以及使用基尼不纯度进行节点分裂的袋装随机森林。
• 应用10折交叉验证以评估模型泛化能力，并对超参数进行调优（SVM的C参数，随机森林的树的数量）。
• 使用精确率、召回率和F1得分评估性能，以平衡检测的准确性和完整性。

实验结果

研究问题

• RQ1 机器学习模型能否在5G NFV环境中，基于真实系统指标以高精度检测噪声邻居事件？
• RQ2 当特征与噪声之间的个体相关性较低时，SVM和随机森林等标准分类模型在识别噪声邻居事件方面的表现如何？
• RQ3 哪些超参数设置（如SVM的C值、随机森林的树的数量）能实现最佳检测性能？
• RQ4 资源争用的复杂性是否需要非线性模型？此类模型是否优于线性基线模型？

主要发现

• 表现最佳的支持向量机模型在C = 3.8²时达到0.8734的F1得分，展现出强大的检测能力。
• 表现最佳的随机森林模型使用300棵树，取得了更高的0.9144 F1得分，在精确率和召回率上均优于SVM。
• 在随机森林中，树的数量超过50棵后未观察到显著性能提升，表明更大集成规模的收益递减。
• 特征与噪声之间的相关系数及最大信息系数（MIC）均较低（最大MIC = 0.371），证实噪声邻居效应复杂，难以通过简单线性分析检测。
• 两种模型在分类噪声邻居事件时均实现了超过90%的准确率，验证了在真实NFV环境中基于机器学习检测的可行性。
• 结果表明，机器学习可作为5G网络自动化编排的可靠基础，通过实现对资源争用引发的性能下降的早期检测。